[논문 리뷰] Nonparametric sparsity and regularization

Lorenzo Rosasco, Silvia Villa외 3명|arXiv (Cornell University)|2012. 08. 13.

Sparse and Compressive Sensing Techniques참고 문헌 63인용 수 59

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 부분 도함수를 통해 변수 중요도를 측정함으로써 비모수적 스파arsity 프레임워크를 제안한다. 이는 비선형 지도학습에서 변수 선택을 위한 새로운 방법으로, 결과적으로 비가 differentiation 가능한 볼록 최적화 문제를 해결하기 위해 데이터 기반 정규화 기법을 사용하는 프록시 방법을 제안하며, 관련 변수의 일致적인 선택과 최신 기법들에 비해 뛰어난 경험적 성능을 달성한다.

ABSTRACT

In this work we are interested in the problems of supervised learning and variable selection when the input-output dependence is described by a nonlinear function depending on a few variables. Our goal is to consider a sparse nonparametric model, hence avoiding linear or additive models. The key idea is to measure the importance of each variable in the model by making use of partial derivatives. Based on this intuition we propose a new notion of nonparametric sparsity and a corresponding least squares regularization scheme. Using concepts and results from the theory of reproducing kernel Hilbert spaces and proximal methods, we show that the proposed learning algorithm corresponds to a minimization problem which can be provably solved by an iterative procedure. The consistency properties of the obtained estimator are studied both in terms of prediction and selection performance. An extensive empirical analysis shows that the proposed method performs favorably with respect to the state-of-the-art methods.

연구 동기 및 목표

• 진짜 함수가 오직 소수의 관련 변수에 의존하는 고차원 비선형 회귀에서 변수 선택 문제를 다루는 것.
• 선형 또는 가산 가정이 아닌 부분 도함수 기반 비모수적 스파arsity 측도를 개발하는 것.
• RKHS 이론과 프록시 최적화를 활용하여 안정적이고 계산적으로 실현 가능한 정규화 기법을 설계하는 것.
• 예측 및 변수 선택 측면에서 추정기의 이론적 일관성을 확립하는 것.
• 합성 및 실세계 데이터셋에서 최신 기법들과의 경험적 검증을 수행하는 것.

제안 방법

• RKHS에서 함수의 부분 도함수의 L2 노름을 기반으로 하는 새로운 비모수적 스파arsity 개념을 제안한다.
• 학습 데이터 포인트에서 부분 도함수의 경험적 추정치를 사용하여 데이터에 의존하는 정규화 항을 정의한다.
• 레프레젠터 정리와 커널 기반 함수 표현을 통해 도함수 추정기의 유계성과 안정성을 보장하기 위해 RKHS 프레임워크를 사용한다.
• 정규화된 최소 제곱 목표 함수에서 발생하는 비미분 가능한 볼록 최적화 문제를 해결하기 위해 반복적인 전진-후진 분할 알고리즘을 개발한다.
• 정규화 항의 비가 differentiation 가능성을 다루기 위해 프록시 방법을 적용하여 수렴 보장을 가능하게 한다.
• 집중 불등식과 RKHS 노름 제어를 활용하여 도함수 노름의 추정 오차에 대한 유한 표본 범위를 유도한다.

실험 결과

연구 질문

• RQ1 RKHS에서의 부분 도함수는 비선형이고 비가산 모델에서 변수 중요도를 신뢰할 수 있고 안정적으로 측정할 수 있는가?
• RQ2 부분 도함수 노름에 기반한 정규화 기법이 고차원 비선형 회귀에서 진짜로 관련된 변수 집합을 일관되게 식별할 수 있는가?
• RQ3 기존의 L1 정규화 또는 가산 모델 기반 접근법과 비교해 볼 때, 제안된 방법의 예측 정확도와 변수 선택 성능는 어떠한가?
• RQ4 예측 오차와 지원 복구 측면에서 추정기의 이론적 일관성 특성은 어떠한가?
• RQ5 반복적 프록시 알고리즘이 증명 가능한 수렴 속도를 갖는 안정적인 해에 수렴할 수 있는가?

주요 결과

• 제안된 추정기는 일관된 변수 선택을 달성한다: 표본 크기가 증가함에 따라 모든 관련 변수가 회복될 확률이 1에 수렴한다.
• 해당 방법은 다양한 데이터셋에서 예측 정확도와 스파arsity 복구 측면에서 최신 기법들을 능가하는 강력한 경험적 성능을 보였다.
• 이론적 분석 결과, 추정된 도함수 노름이 확률적으로 진짜 도함수 노름으로 수렴하며, 수렴 속도는 표본 크기와 정규화 파라미터에 따라 달라진다.
• 약한 가정 하에 알고리즘이 수렴하며, 프록시 방법 이론과 RKHS 집중 경계를 통해 수렴 속도가 확립된다.
• 정규화 파rameter τn에 대한 조건 하에 선택 절차의 일관성이 증명되었으며, 이는 limn→∞ τn = 0 및 limn→∞ a(n, τn) = 0 를 만족해야 한다.
• 이론적 경계를 통해 고차원 입력에 대해 강건함을 입증하였으며, 차원 d와 표본 크기 n에 대해 유리하게 스케일링된다.