[논문 리뷰] Thresholded Lasso for high dimensional variable selection and statistical estimation

Shuheng Zhou|arXiv (Cornell University)|2010. 02. 08.

Statistical Methods and Inference참고 문헌 48인용 수 42

한 줄 요약

이 논문은 고차원 선형 모델에서 희소 오라클 부등식을 달성하기 위해 Lasso를 적용한 후 임계값 처리를 추가하는 두 단계 절차인 Thresholded Lasso를 제안한다. 제한된 고유값 조건 하에서, $\Vert\beta - \beta^*\Vert_2^2$가 이상적인 평균 제곱 오차의 로그 인자 범위 내에 있으며, 이는 진짜 매개변수의 희소성 패턴을 효과적으로 복원하면서 추정 정확도를 유지함을 의미한다.

ABSTRACT

Given $n$ noisy samples with $p$ dimensions, where $n \ll p$, we show that the multi-step thresholding procedure based on the Lasso -- we call it the {\it Thresholded Lasso}, can accurately estimate a sparse vector $β\in \R^p$ in a linear model $Y = X β+ ε$, where $X_{n imes p}$ is a design matrix normalized to have column $\ell_2$ norm $\sqrt{n}$, and $ε\sim N(0, σ^2 I_n)$. We show that under the restricted eigenvalue (RE) condition (Bickel-Ritov-Tsybakov 09), it is possible to achieve the $\ell_2$ loss within a logarithmic factor of the ideal mean square error one would achieve with an {\em oracle} while selecting a sufficiently sparse model -- hence achieving {\it sparse oracle inequalities}; the oracle would supply perfect information about which coordinates are non-zero and which are above the noise level. In some sense, the Thresholded Lasso recovers the choices that would have been made by the $\ell_0$ penalized least squares estimators, in that it selects a sufficiently sparse model without sacrificing the accuracy in estimating $β$ and in predicting $X β$. We also show for the Gauss-Dantzig selector (Candès-Tao 07), if $X$ obeys a uniform uncertainty principle and if the true parameter is sufficiently sparse, one will achieve the sparse oracle inequalities as above, while allowing at most $s_0$ irrelevant variables in the model in the worst case, where $s_0 \leq s$ is the smallest integer such that for $λ= \sqrt{2 \log p/n}$, $\sum_{i=1}^p \min(β_i^2, λ^2 σ^2) \leq s_0 λ^2 σ^2$. Our simulation results on the Thresholded Lasso match our theoretical analysis excellently.

연구 동기 및 목표

• 모수의 수 $ n \ll p $인 고차원 선형 회귀 문제를 다루며, 정확한 변수 선택과 추정을 목표로 한다.
• 진짜 지원 집합을 정확히 안다는 오라클의 지식을 가진 경우와 유사한 추정 정확도를 달성할 수 있는 계산적으로 구현 가능한 방법을 개발한다.
• $\ell_1$-벌점 방법(예: Lasso)과 $\ell_0$-벌점 추정기 사이의 격차를 메우기 위해, 이들의 모형 선택 행동을 재현한다.
• 특히 제한된 고유값 조건을 포함한 최소한의 가정 하에서 Thresholded Lasso의 이론적 보장을 수립한다.
• 메서드가 희소 오라클 부등식을 달성함을 보여주며, 이는 $\ell_2$-손실이 이상적인 오라클 리스크의 로그 인자 범위 내에 있음을 의미한다.

제안 방법

• Lasso 추정량 $ \widehat{\beta}_{\text{init}} = \arg\min_{\beta} \frac{1}{2n}\|Y - X\beta\|_2^2 + \lambda_n\|\beta\|_1 $ 을 적용하며, $ \lambda_n = d\sigma\sqrt{2\log p / n} $ 이다.
• 임계값 처리 단계를 적용: $ \widehat{\beta}_{\text{thres},j} = \widehat{\beta}_{\text{init},j} \cdot \mathbf{1}_{\{ |\widehat{\beta}_{\text{init},j}| \geq t_0 \}} $, 여기서 $ t_0 $ 는 작은 계수를 제거하기 위해 선택된다.
• 설계 행렬 $ X $ 에 대한 제한된 고유값(RE) 조건을 사용하여 진짜 희소 매개변수 $ \beta $ 를 회복한다.
• 제한된 고유값 조건 하에서, 희소 오라클 부등식을 수립하여 임계값 처리된 추정량의 $ \ell_2 $-손실이 이상적인 오라클 리스크에 상대적으로 유한한 상한을 가지도록 한다.
• 고차원 통계에서의 도구, 특히 제한된 직교성과 균일한 불확실성 원리 등을 활용하여 이론적 상한을 유도한다.
• 다단계 절차를 통해 방법을 분석한다: 먼저 Lasso로 추정을 수행한 후, 잡음과 관련 없는 변수를 제거하기 위해 임계값 처리를 수행한다.

실험 결과

연구 질문

• RQ1 Lasso 기반의 두 단계 임계값 처리 절차가 고차원 선형 모델에서 이상적인 오라클 리스크의 로그 인자 범위 내에서 추정 정확도를 달성할 수 있는가?
• RQ2 설계 행렬 $ X $ 가 어떤 조건을 만족할 경우 Thresholded Lasso 가 높은 확률로 진짜 희소성 패턴 $ S = \text{supp}(\beta) $ 를 회복할 수 있는가?
• RQ3 모형 선택 및 추정 오차 측면에서 Thresholded Lasso 는 $\ell_0$-벌점 최소제곱법보다 어떻게 성능이 다른가?
• RQ4 Gauss-Dantzig 선택기 역시 유사한 조건 하에서 희소 오라클 부등식을 달성할 수 있으며, Thresholded Lasso 와 비교해 볼 때 어떤가?
• RQ5 임계값 수준 $ t_0 $ 는 모형의 희소성과 추정 정확도 사이의 균형을 어떻게 조절하는가?

주요 결과

• 제한된 고유값 조건 하에서, Thresholded Lasso 는 $ \|\widehat{\beta} - \beta\|_2^2 $ 가 이상적인 평균 제곱 오차의 로그 인자 범위 내에 있음을 보였다. 이는 진짜 지원 집합을 안다는 오라클이 존재할 경우 달성 가능한 최적의 성능에 근접함을 의미한다.
• 이 방법은 $\ell_0$-벌점 최소제곱법의 모형 선택 행동을 재현함으로써, 추정 정확도를 희생시키지 않은 채 희소 모형을 선택한다.
• Gauss-Dantzig 선택기 역시 $ X $ 가 균일한 불확실성 원리를 만족하고 진짜 매개변수가 충분히 희박할 경우 희소 오라클 부등식을 달성한다.
• 모형에 포함된 관련 없는 변수의 수는 $ s_0 $ 이하이며, 이는 $ \sum_{i=1}^p \min(\beta_i^2, \lambda^2\sigma^2) \leq s_0 \lambda^2\sigma^2 $ 를 만족하는 최소 정수이다. 여기서 $ \lambda = \sqrt{2\log p / n} $ 이다.
• 시뮬레이션 결과는 Thresholded Lasso 가 이론적 예측을 매우 잘 따르며, 유한 표본에서의 성능을 검증함을 보여준다.
• 임계값 처리 단계는 Lasso가 종종 유지하는 작은 잡음 계수들을 제거함으로써 모형 선택 성능을 크게 향상시킨다.