[논문 리뷰] The Lasso with general Gaussian designs with applications to hypothesis testing

Michael Celentano, Andrea Montanari외 1명|arXiv (Cornell University)|2020. 07. 27.

Statistical Methods and Inference참고 문헌 48인용 수 44

한 줄 요약

이 연구는 상관된 가우시안 설계에 대해 Lasso 이론을 확장하고, 고정 설계 등가를 고정점 방정식으로 확립하며, 자유도 보정이 있는 편향 제거된 Lasso 추론으로 유효한 신뢰구간을 개발한다.

ABSTRACT

The Lasso is a method for high-dimensional regression, which is now commonly used when the number of covariates $p$ is of the same order or larger than the number of observations $n$. Classical asymptotic normality theory does not apply to this model due to two fundamental reasons: $(1)$ The regularized risk is non-smooth; $(2)$ The distance between the estimator $\widehat{\boldsymbolθ}$ and the true parameters vector $\boldsymbolθ^*$ cannot be neglected. As a consequence, standard perturbative arguments that are the traditional basis for asymptotic normality fail. On the other hand, the Lasso estimator can be precisely characterized in the regime in which both $n$ and $p$ are large and $n/p$ is of order one. This characterization was first obtained in the case of Gaussian designs with i.i.d. covariates: here we generalize it to Gaussian correlated designs with non-singular covariance structure. This is expressed in terms of a simpler ``fixed-design'' model. We establish non-asymptotic bounds on the distance between the distribution of various quantities in the two models, which hold uniformly over signals $\boldsymbolθ^*$ in a suitable sparsity class and over values of the regularization parameter. As an application, we study the distribution of the debiased Lasso and show that a degrees-of-freedom correction is necessary for computing valid confidence intervals.

연구 동기 및 목표

• 상관된 가우시안 설계 하에서 고차원 Lasso에 대한 정밀한 추론의 필요성을 제시한다.
• 일반 가우시안 설계에서 Lasso 추정량을 등가의 고정 설계 모델을 통해 특성화한다.
• 랜덤 설계 예측과 희소성 간의 관계를 설명하는 고정점 프레임워크를 개발한다.
• 편향 제거 Lasso 방법과 유효한 가설 검정과 신뢰구간을 가능하게 하는 자유도 보정을 제안한다.

제안 방법

• 고정 설계 모델 y^f = Sigma^{1/2} theta^* + (tau/√n) g with g ~ N(0,I_p) 를 도입하고 이 설정에서 Lasso를 분석한다.
• 고정 설계 Lasso ( η(·; ζ) ) 와 편향 제거 버전(9)을 Debiased 추정량으로 함께 정의한다.
• 고정점 방정식(11a, 11b)을 tau^*와 zeta^*에 대해 도출한다. in-sample risk R(τ^2, ζ)와 자유도 df(τ^2, ζ)를 사용.
• 적절한 tau^* 및 zeta^* 선택 하에서 무작위 설계와 고정 설계 모델 간의 근사 등가를 확립한다.
• 샘플링 요건(n/p)을 결정하는 가우시안 폭과 Donoho-Tanner 위상 전이의 역할을 논의한다.
• 신뢰구간의 점근적으로 유효한 커버리지를 가진 leave-one-out 구성(제안) 를 제안하고 분석한다.

실험 결과

연구 질문

• RQ1 상관된 가우시안 설계 하에서 Lasso 추정량의 분포를 어떻게 특성화할 수 있는가?
• RQ2 랜덤 설계 Lasso가 고정 설계 모델로 정확히 근사될 수 있는가, 어느 매개변수 선택 하에서인가?
• RQ3 이 설정에서 효과적 노이즈와 희소성을 지배하는 적절한 고정점 방정식은 무엇인가?
• RQ4 디바이즈드 Lasso를 설계하여 설계가 상관될 때 유효한 신뢰구간을 얻으려면 어떻게 해야 하는가?
• RQ5 가우시안 설계 하에서 차원 높은 Lasso의 추론에 자유도 보정이 미치는 영향은 무엇인가?

주요 결과

• 적절한 tau^* 및 zeta^* 해를 갖는 고정점(11a–11b)을 만족시키는 경우 무작위 설계와 고정 설계 Lasso 모델 간의 근사적 등가가 존재한다.
• Tau^*는 예측에 대한 효과적 노이즈 수준으로 작용하고, zeta^*는 Lasso가 선택하는 좌표의 비율 및 효과적 정규화와 관련된다.
• 모델 크기(자유도)는 고정 설계의 대응 df(τ^*2, ζ^*) 주위로 집중되며, 고정 설계 해석을 정당화한다.
• 편향 제거 Lasso는 이러한 설계 하에서 대략적으로 정규화된 좌표를 제공할 수 있지만, 유효한 추론을 위해 자유도 보정이 필요하다.
• leave-one-out 구성이 진정한(명목상) 커버리지를 갖는 신뢰구간을 제공하며, 개별 좌표에 대한 경쟁력 있는 p-값을 얻을 수 있다.
• 이 프레임워크는 일반 가우시안 설계에서 조건수가 유한한 상황에서도 내부 조정된 잔차 taû(λ)를 최소화하는 표준 교차 검증 비슷한 조정으로 튜닝을 지원하며 여전히 타당하다.