[논문 리뷰] L1-Penalized Quantile Regression in High-Dimensional Sparse Models

Alexandre Belloni, Victor Chernozhukov|arXiv (Cornell University)|2009. 04. 19.

Statistical Methods and Inference참고 문헌 32인용 수 36

한 줄 요약

이 논문은 회귀자기수 p가 표본 크기 n을 초과하지만 진정으로 영향을 미치는 변수의 수 s가 n보다 훨씬 작은 고차원 희소 모델에서 ℓ₁-벌점된 분위수 회귀(ℓ₁-QR) 및 후속 ℓ₁-QR 추정기의 개발과 분석을 다룬다. 이는 분위수 인덱스의 컴act 집합 위에서 근사 오라클 속도 √(s/n)√(log(p∨n))로 균일한 일致성을 확립하며, 오차 분산에 대한 지식이 필요 없이 최적의 속도와 모형 선택 일치성을 달성하는 데이터 기반의 벌점 수준을 제공한다.

ABSTRACT

We consider median regression and, more generally, a possibly infinite collection of quantile regressions in high-dimensional sparse models. In these models the overall number of regressors $p$ is very large, possibly larger than the sample size $n$, but only $s$ of these regressors have non-zero impact on the conditional quantile of the response variable, where $s$ grows slower than $n$. We consider quantile regression penalized by the $\ell_1$-norm of coefficients ($\ell_1$-QR). First, we show that $\ell_1$-QR is consistent at the rate $\sqrt{s/n} \sqrt{\log p}$. The overall number of regressors $p$ affects the rate only through the $\log p$ factor, thus allowing nearly exponential growth in the number of zero-impact regressors. The rate result holds under relatively weak conditions, requiring that $s/n$ converges to zero at a super-logarithmic speed and that regularization parameter satisfies certain theoretical constraints. Second, we propose a pivotal, data-driven choice of the regularization parameter and show that it satisfies these theoretical constraints. Third, we show that $\ell_1$-QR correctly selects the true minimal model as a valid submodel, when the non-zero coefficients of the true model are well separated from zero. We also show that the number of non-zero coefficients in $\ell_1$-QR is of same stochastic order as $s$. Fourth, we analyze the rate of convergence of a two-step estimator that applies ordinary quantile regression to the selected model. Fifth, we evaluate the performance of $\ell_1$-QR in a Monte-Carlo experiment, and illustrate its use on an international economic growth application.

연구 동기 및 목표

• p ≫ n 인 고차원 희소 모델에서 일반 분위수 회귀의 부일致성 문제를 해결한다.
• 고차원 설정에서 일관된 추정과 모형 선택을 가능하게 하는 ℓ₁-QR 및 후속 ℓ₁-QR 추정기를 개발한다.
• 분위수 인덱스의 컴act 집합 위에서 ℓ₁-QR 및 후속 ℓ₁-QR의 균일 수렴 속도를 확립한다.
• 오차 분산에 대한 지식이 필요 없이 최적의 수렴 속도를 달성하는 데이터 기반의 부분적으로 중심화된(혹은 부분적으로 오라클 기반의) 벌점 수준을 제공한다.
• ℓ₁-QR가 진정한 모형을 정확히 선택하고, 하드 임계값 처리가 최소 진정한 모형을 회복할 수 있는 조건을 규명한다.

제안 방법

• 고차원 희소 모델에서 회귀 계수를 추정하기 위해 ℓ₁-벌점된 분위수 회귀(ℓ₁-QR)를 제안한다.
• ℓ₁-QR가 선택한 모형에 대해 불벌점된 분위수 회귀를 적용하는 후속 ℓ₁-QR 추정기를 도입한다.
• 점수 과정의 경험적 분위수를 기반으로 한 데이터 기반의 부분적으로 중심화된 벌점 수준을 유도하여 최적의 수렴 성능을 보장한다.
• 경험 과정 이론과 농도 불등식을 사용하여 경험 고유값을 유계로 제한하고 추정 오차를 통제한다.
• 희소 고유값 조건과 제한된 고유값 가정을 적용하여 분위수 인덱스에 대한 균일한 수렴을 확립한다.
• 고차원 통계학과 경험 과정 이론의 결과를 활용하여 분위수 인덱스의 컴act 집합 위에서 균일한 경계를 도출한다.

실험 결과

연구 질문

• RQ1 고차원 희소 모델에서 분위수 인덱스의 컴act 집합 위에서 ℓ₁-QR가 근사 오라클 속도 √(s/n)√(log(p∨n))로 균일하게 일관성 있는가?
• RQ2 ℓ₁-QR에 적용된 데이터 기반의 부분적으로 중심화된 벌점 수준이 오차 분산에 대한 지식 없이도 최적의 수렴 속도를 달성하는가?
• RQ3 ℓ₁-QR가 진정한 모형을 하위 모형으로 정확히 선택할 수 있는 조건은 무엇인가? 특히 진정한 모형이 희소한 경우에도 말이다.
• RQ4 ℓ₁-QR가 일부 진정한 회귀자기수를 놓칠 경우, 후속 ℓ₁-QR가 ℓ₁-QR보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ5 어떤 조건에서 ℓ₁-QR 추정치의 하드 임계값 처리가 분위수 인덱스의 컴act 집합 위에서 균일하게 최소 진정한 모형을 회복하는가?

주요 결과

• 일반적인 정규성 조건 하에서, ℓ₁-QR는 분위수 인덱스의 컴act 집합 위에서 근사 오라클 속도 √(s/n)√(log(p∨n))로 균일한 일관성을 확보한다.
• 데이터 기반의 부분적으로 중심화된 벌점 수준이 제안되었으며, 이는 오라클 수준의 벌점과 동일한 최적의 수렴 속도를 달성함을 보였다.
• 비영인 계수들이 충분히 0에서 떨어져 있을 경우(즉, beta-min 조건 충족 시), ℓ₁-QR는 진정한 모형을 하위 모형으로 정확히 선택한다.
• 후속 ℓ₁-QR는 ℓ₁-QR와 동일한 근사 오라클 속도를 달성하며, ℓ₁-QR가 일부 진정한 성분을 놓칠 경우 오라클 속도에 더 가까운 수렴 속도를 달성할 수 있다.
• 적절한 조건 하에서 ℓ₁-QR 추정치의 하드 임계값 처리는 분위수 인덱스의 컴act 집합 위에서 균일하게 최소 진정한 모형을 회복한다.
• 고정된 상관관계 ρ ∈ (−1,1)를 갖는 상관관계가 있는 정규 설계에서, 설계 행렬의 경험적 희소 고유값은 ρ에 따라 결정되는 상수들로 높은 확률로 유계가 되며, 이는 추정 오차의 균일한 통제를 보장한다.