[논문 리뷰] An l1-Oracle Inequality for the Lasso

Pascal Massart, Caroline Meynet|arXiv (Cornell University)|2010. 07. 27.

Statistical Methods and Inference참고 문헌 17인용 수 10

한 줄 요약

이 논문은 설계 또는 회귀 함수에 기하학적 가정이 필요 없이 Lasso 추정량에 대한 $ε_{1}$-오ракул 부등식을 수립하며, 정규화 파ameter가 적절히 선택될 경우 결정론적 Lasso와 거의 동일한 성능을 보임을 증명한다. 또한 무한 사전을 위한 선택된 Lasso 추정량을 $ε_{0}$-벌점 선택을 통해 도입하여, 보간 공간에서 최적 수렴 속도를 달성한다.

ABSTRACT

The Lasso has attracted the attention of many authors these last years. While many efforts have been made to prove that the Lasso behaves like a variable selection procedure at the price of strong (though unavoidable) assumptions on the geometric structure of these variables, much less attention has been paid to the analysis of the performance of the Lasso as a regularization algorithm. Our first purpose here is to provide a conceptually very simple result in this direction. We shall prove that, provided that the regularization parameter is properly chosen, the Lasso works almost as well as the deterministic Lasso. This result does not require any assumption at all, neither on the structure of the variables nor on the regression function. Our second purpose is to introduce a new estimator particularly adapted to deal with infinite countable dictionaries. This estimator is constructed as an l0-penalized estimator among a sequence of Lasso estimators associated to a dyadic sequence of growing truncated dictionaries. The selection procedure automatically chooses the best level of truncation of the dictionary so as to make the best tradeoff between approximation, l1-regularization and sparsity. From a theoretical point of view, we shall provide an oracle inequality satisfied by this selected Lasso estimator. The oracle inequalities established for the Lasso and the selected Lasso estimators shall enable us to derive rates of convergence on a wide class of functions, showing that these estimators perform at least as well as greedy algorithms. Besides, we shall prove that the rates of convergence achieved by the selected Lasso estimator are optimal in the orthonormal case by bounding from below the minimax risk on some Besov bodies. Finally, some theoretical results about the performance of the Lasso for infinite uncountable dictionaries will be studied in the specific framework of neural networks. All the oracle inequalities presented in this paper are obtained via the application of a single general theorem of model selection among a collection of nonlinear models which is a direct consequence of the Gaussian concentration inequality. The key idea that enables us to apply this general theorem is to see l1-regularization as a model selection procedure among l1-balls.

연구 동기 및 목표

• 설계 또는 회귀 함수에 제한적인 가정이 없는 Lasso를 정규화 방법으로 분석하는 것.
• 근사성, $ε_{1}$-정규화, 희소성 간의 균형을 이루는 무한 가산 사전에 적합한 새로운 추정량을 개발하는 것.
• 일반 함수 클래스에서 Lasso 및 선택된 Lasso 추정량에 대한 오라클 부등식과 수렴 속도를 유도하는 것.
• 일반적인 모델 선택 정리(ε₁-구역 기반)를 통해 Lasso 추정량의 분석을 통합하는 것.
• Lasso가 수렴 속도 측면에서 그레디 알고리즘과 비슷한 성능을 내는지 확인하는 것.

제안 방법

• Lasso를 ε₁-구역들 사이의 모델 선택 절차로 해석하여 일반 모델 선택 정리를 적용할 수 있도록 한다.
• 사전이나 회귀 함수에 대한 가정 없이 Lasso에 대한 ε₁-오라클 부등식을 도출한다.
• 이중적으로 증가하는 절단된 사전에 대해 Lasso 추정량의 순서에 대해 ε₀-벌점 선택을 적용하여 선택된 Lasso 추정량을 구성한다.
• 선택 절차는 근사 오차, ε₁-정규화, 희소성 간의 균형을 이루는 최적의 절단 수준을 자동으로 선택한다.
• 보간 공간과 실 보간 이론을 사용하여 수렴 속도를 유도한다.
• 핵심 기술적 단계는 엔트로피 및 커버링 수의 경계에 기반한 일반 모델 선택 정리를 통해 이론적 보장을 확립한다.

실험 결과

연구 질문

• RQ1 Lasso를 설계 또는 회귀 함수에 기하학적 가정이 없는 정규화 방법으로 분석할 수 있는가?
• RQ2 무한 사전에 대해 최적의 절단 수준에 적응하는 일致성 있는 추정량을 어떻게 구성할 수 있는가?
• RQ3 일반 함수 클래스에서 Lasso의 수렴 속도는 어떻게 되는가?
• RQ4 ε₁-정규화된 추정량에 대해 ε₁-구역을 모델로 사용하는 통합된 모델 선택 프레임워크를 적용할 수 있는가?
• RQ5 Lasso 및 선택된 Lasso 추정량은 수렴 속도 측면에서 그레디 알고리즘과 어떻게 비교되는가?

주요 결과

• 정규화 파ameter가 적절히 선택될 경우, 사전이나 회귀 함수에 대한 가정 없이 Lasso가 ε₁-오라클 부등식을 만족한다.
• 이중 절단에 대한 ε₀-벌점 선택을 통해 구성된 선택된 Lasso 추정량은 근사성, ε₁-정규화, 희소성 간의 균형을 이루는 오라클 부등식을 달성한다.
• Lasso 추정량은 보간 공간에서 그레디 알고리즘과 비교해도 뒤지지 않는 수렴 속도를 보인다.
• εq(R) ∩ B²,r∞(R)에서 최소 최대 위험의 하한을 도출하여 달성된 속도의 최적성을 입증한다.
• 선택된 Lasso 추정량의 수렴 속도는 q ∈ (0,2)에 대해 κ'' R^q (ε √(ln(Rε⁻¹)))^{2−q}이며, κ'' > 0은 절대 상수이다.
• 분석 결과, 기하학적 구조적 가정 없이도 Lasso가 위험 측면에서 결정론적 Lasso와 거의 동일한 성능을 내는 것으로 드러났다.