[논문 리뷰] Some Two-Step Procedures for Variable Selection in High-Dimensional Linear Regression

Jian Zhang, X. Jessie Jeng외 1명|ArXiv.org|2008. 10. 09.

Statistical Methods and Inference참고 문헌 26인용 수 8

한 줄 요약

이 논문은 고차원 선형 회귀에서 irrepresentable 조건을 필요로 하지 않고 추정 및 변수 선택 일致성을 동시에 확보하는 이단계 변수 선택 절차를 제안한다. 초기 추정기(예: 릿지 또는 라소)를 사용한 후 비음수 가로트, 적응형 라소, 또는 하드 임계처리를 적용함으로써, 표본 크기와 함께 지수적으로 증가하는 예측 변수 수가 있는 경우에도 오라클 성질을 확보할 수 있다.

ABSTRACT

We study the problem of high-dimensional variable selection via some two-step procedures. First we show that given some good initial estimator which is $\ell_{\infty}$-consistent but not necessarily variable selection consistent, we can apply the nonnegative Garrote, adaptive Lasso or hard-thresholding procedure to obtain a final estimator that is both estimation and variable selection consistent. Unlike the Lasso, our results do not require the irrepresentable condition which could fail easily even for moderate $p_n$ (Zhao and Yu, 2007) and it also allows $p_n$ to grow almost as fast as $\exp(n)$ (for hard-thresholding there is no restriction on $p_n$). We also study the conditions under which the Ridge regression can be used as an initial estimator. We show that under a relaxed identifiable condition, the Ridge estimator is $\ell_{\infty}$-consistent. Such a condition is usually satisfied when $p_n\le n$ and does not require the partial orthogonality between relevant and irrelevant covariates which is needed for the univariate regression in (Huang et al., 2008). Our numerical studies show that when using the Lasso or Ridge as initial estimator, the two-step procedures have a higher sparsity recovery rate than the Lasso or adaptive Lasso with univariate regression used in (Huang et al., 2008).

연구 동기 및 목표

• 고차원 선형 모형에서 추정 및 변수 선택 일치성을 동시에 달성하는 이단계 변수 선택 절차를 개발한다.
• 종종 고차원 설정에서 실패하는 irrepresentable 조건을 제거한다.
• 릿지 회귀가 ℓ∞-일치성을 보이는 유효한 초기 추정기로 사용될 수 있는 조건을 규명한다.
• 유한 표본에서 라소 및 적응형 라소보다 향상된 희박성 복구 성능을 보임을 입증한다.
• 표본 크기 n에 대해 예측 변수 수 pn이 거의 지수적으로 증가하는 경우에도 이론적 보장을 확장한다.

제안 방법

• 이중단계 프레임워크를 적용: 먼저 ℓ∞-일치성을 보장하는 초기 추정기(예: 릿지 또는 라소)를 확보한다.
• 초기 추정기에 비음수 가로트, 적응형 라소, 또는 하드 임계처리와 같은 후행 페널티 방법을 적용하여 변수 선택 일치성을 달성한다.
• 가중치를 초기 추정기에서 유도한 가중 ℓ1-페널티를 통한 적응형 라소를 활용한다.
• 최종 추정기가 추정 및 선택 일치성을 동시에 확보할 수 있는 이론적 조건을 수립한다.
• 집중 불등식과 가우스 꼬리 경계를 사용하여 관심 사건에서 추정 오차의 ℓ∞-노름을 통제한다.
• 수렴 확률이 진짜 희박 모형으로 수렴하도록 보장하기 위한 조정 파라미터 및 설계 행렬의 구조에 대한 충분조건을 유도한다.

실험 결과

연구 질문

• RQ1 설계 행렬에 대해 irrepresentable 조건이 필요 없이 이단계 절차가 변수 선택 일치성을 달성할 수 있는가?
• RQ2 고차원 설정에서 릿지 추정기가 ℓ∞-일치성을 보이는 조건은 무엇인가?
• RQ3 유한 표본에서 이단계 절차의 희박성 복구 성능은 라소 및 적응형 라소와 비교해 어떻게 되는가?
• RQ4 이단계 방법이 일치성을 유지하기 위해 허용되는 pn의 성장률은 무엇인가?
• RQ5 초기 추정기가 오직 ℓ∞-일치성만을 보일 때 최종 추정기가 오라클 성질을 달성할 수 있는가?

주요 결과

• 비음수 가로트, 적응형 라소, 또는 하드 임계처리를 사용하는 이단계 절차는 초기 추정기가 ℓ∞-일치성일 경우 추정 및 변수 선택 일치성을 모두 달성한다.
• 이 방법은 종종 중간 수준의 pn에서도 위반되는 irrepresentable 조건이 필요하지 않다.
• 하드 임계처리의 경우 pn의 성장률에 제한이 없어, pn이 exp(n)에 거의 도달할 수 있다.
• pn ≤ n 이고 관련 및 비관련 공변량 간 부분 직교성이 필요로 하지 않는 완화된 식별성 조건 하에서 릿지 회귀는 ℓ∞-일치성을 보인다.
• 수치적 연구 결과, 단변량 회귀를 초기 단계로 사용할 경우, 이단계 절차는 라소 및 적응형 라소보다 높은 희박성 복구 비율을 보였다.
• νn = (d²q log pn / (n sn))^{1/3} 일 때, 적절한 조정 조건 하에서 릿지 추정기는 ∥β̂Ridge − β∗∥∞ = Op((√(sn log pn)/ndq)^{1/3}) 를 확보한다.