[논문 리뷰] The distribution of the Lasso: Uniform control over sparse balls and adaptive parameter tuning

Léo Miolane, Andrea Montanari|arXiv (Cornell University)|2018. 11. 03.

Statistical Methods and Inference참고 문헌 60인용 수 55

한 줄 요약

논문은 무작위 가우시안 설계 하에서 Lasso에 대한 균일하고 고확률 집중(concentration) 결과를 보이고, ell_p 구역과 정규화에 대해 균일하게 적용되며, 이를 활용해 적응형 튜닝 절차를 정당화합니다.

ABSTRACT

The Lasso is a popular regression method for high-dimensional problems in which the number of parameters $\ heta_1,\\dots,\ heta_N$, is larger than the number $n$ of samples: $N>n$. A useful heuristics relates the statistical properties of the Lasso estimator to that of a simple soft-thresholding denoiser,in a denoising problem in which the parameters $(\ heta_i)_{i\\le N}$ are observed in Gaussian noise, with a carefully tuned variance. Earlier work confirmed this picture in the limit $n,N\ o\\infty$, pointwise in the parameters $\ heta$, and in the value of the regularization parameter. Here, we consider a standard random design model and prove exponential concentration of its empirical distribution around the prediction provided by the Gaussian denoising model. Crucially, our results are uniform with respect to $\ heta$ belonging to $\\ell_q$ balls, $q\\in [0,1]$, and with respect to the regularization parameter. This allows to derive sharp results for the performances of various data-driven procedures to tune the regularization. Our proofs make use of Gaussian comparison inequalities, and in particular of a version of Gordon's minimax theorem developed by Thrampoulidis, Oymak, and Hassibi, which controls the optimum value of the Lasso optimization problem. Crucially, we prove a stability property of the minimizer in Wasserstein distance, that allows to characterize properties of the minimizer itself.

연구 동기 및 목표

• Lasso의 경험적 분포가 표준 무작위 설계 하에서 가우시안 디노이저 예측 주위로 수렴하는지 양적으로 동기화하고 설명합니다.
• 매개변수에 대해 ell_p 구역과 λ에 대해 균일한 결과를 제공하여 규제 파라미터의 데이터 기반 튜닝을 가능하게 합니다.
• 편향 제거된 Lasso 분포를 특성화하고 Wasserstein 거리에서 최솟값의 동작을 추론하는 안정성 속성을 확립합니다.
• 균일한 위험도 및 잡음 수준 추정기 개발 및 이를 적응형 λ 선택에 활용하는 방법을 보여줍니다.
• EST, SURE, 교차검증과 같은 적응 절차를 지지하고 이를 한정하는 결과를 제시합니다.
• 이론을 Lasso 최적화의 스칼라 극한 등가물에 의해 미니맥스(minimax) 고려와 연결합니다.

제안 방법

• 모형: 가우시안 설계 X와 잡음 z를 갖는 선형 회귀; y = Xθ⋆ + σz, Xij ~ N(0,1/n).
• Lasso 추정량: θ̂λ = argminθ (1/2n)||y − Xθ||^2 + (λ/n)||θ||1.
• 주요 해석 도구: 가우시안 비교 부등식(Gordon의 미니맥스 정리)과 Wasserstein 거리에서 최솟값과 최솟값자 사이의 안정성 속성.
• 고정점 방정식(식(5)) 및 관련 양수(τ*, α*)은 해탈 편향 제거 Lasso 및 일반 Lasso 추정기의 비극적 분포를 특징화합니다.
• 균일 수렴 결과(Theorem 3.1)는 경험적 분포가 θ⋆가 ℓp-구에서이고 λ가 [λmin, λmax]에서 균일하게 μλ*로 수렴함을 보여줍니다.
• 위험도 R*(λ), 예측 P*(λ) 및 그 균일 추정치(Corollaries 4.1–4.4)의 정의.
• 적응형 규제 튜닝에 대한 결과의 적용: EST, SURE 및 보장된 k-폴드 CV(Propositions 4.1–4.3).
• 편향 제거된 Lasso 분포(Theorem 3.3) 및 μ(λ)로의 Wasserstein 수렴.

실험 결과

연구 질문

• RQ1 가우시안 설계 하에서 Lasso의 경험적 분포가 ℓp-구의 θ가 주어졌을 때 λ 전체에 걸쳐 가우시안 디노이저 모델 주위로 균일하게 집중하는가?
• RQ2 적응적 절차(EST, SURE, CV)를 이용한 규제 파라미터의 데이터 기반 튜닝을 지원하기 위해 λ와 θ에 대해 균일한(λ 및 θ에 대해) 법칙을 도출할 수 있는가?
• RQ3 희소 매개변수 집합에 대해 균일하게 일관된 위험도, 잡음 수준, 예측 오차 추정기는 무엇인가?
• RQ4 편향 제거된 Lasso가 균일한 제어 하에서 어떻게 동작하는지, 그리고 그 분포를 신뢰 구간 구성에 활용할 수 있는 방식으로 특성화할 수 있는가?
• RQ5 Lasso 최소값으로부터 추정량으로 정보를 전달하는 Wasserstein 안정성 속성의 역할은 무엇인가?

주요 결과

• (θ̂λ, θ⋆)의 경험적 분포가 μλ* 주위로 높은 확률로 수렴하며, λ가 [λmin, λmax] 범위에서 그리고 θ⋆가 ℓp-구에서 균일하게 구속됩니다.
• 고유한 고정점 쌍 β*(λ), τ*(λ)가 최대-최소 문제(8)를 해결하여 비편향 분포 및 관련 양수들을 결정합니다.
• τ*(λ), Lasso 위험도 R*(λ), 예측 오차의 균일하게 일관된 추정기가 확보되어 신뢰할 수 있는 적응형 튜닝이 가능합니다.
• 편향 제거된 Lasso θ̂d,λ는 N(θ⋆, τ*^2 I)로 대략 분포하며 μλ*로의 Wasserstein 수렴을 보입니다(Theorem 3.3).
• 세 가지 데이터 기반 λ 선택 방법(EST, SURE, CV)은 시뮬레이션에서 거의 최적의 위험을 달성하며 균일 이론으로 뒷받침됩니다(Propositions 4.1–4.3).
• SURE 기반 및 교차검증 기반 추정기는 예측 오차 및 위험 추정치에 대한 균일한 일관성 보장을 제공합니다.