[논문 리뷰] Post-L1-Penalized Estimators in High-Dimensional Linear Regression Models

Alexandre Belloni, Victor Chernozhukov|arXiv (Cornell University)|2009. 12. 31.

Statistical Methods and Inference인용 수 1

한 줄 요약

이 논문은 LASSO가 선택한 모형에 대해 펆납되지 않은 회귀를 적용하는 후-LASSO 추정량을 제안하며, LASSO와 동일한 수렴 속도를 유지하면서 편향을 감소시킨다. 핵심적으로, 선택된 모형이 모든 참 성분을 포함하고 충분히 희박할 경우, LASSO가 참 예측 변수를 놓칠 수도 있음에도 불구하고 후-LASSO는 LASSO를 능가할 수 있다. 이는 LASSO가 참 모형을 완벽하게 선택할 경우 후-LASSO가 올바른 추정량의 속도를 달성함으로써 가능하다.

ABSTRACT

In this paper we study post-penalized estimators which apply ordinary, unpenalized linear regression to the model selected by first-step penalized estimators, typically LASSO. It is well known that LASSO can estimate the regression function at nearly the oracle rate, and is thus hard to improve upon. We show that post-LASSO performs at least as well as LASSO in terms of the rate of convergence, and has the advantage of a smaller bias. Remarkably, this performance occurs even if the LASSO-based model selection 'fails' in the sense of missing some components of the 'true' regression model. By the 'true' model we mean here the best s-dimensional approximation to the regression function chosen by the oracle. Furthermore, post-LASSO can perform strictly better than LASSO, in the sense of a strictly faster rate of convergence, if the LASSO-based model selection correctly includes all components of the 'true' model as a subset and also achieves a sufficient sparsity. In the extreme case, when LASSO perfectly selects the 'true' model, the post-LASSO estimator becomes the oracle estimator. An important ingredient in our analysis is a new sparsity bound on the dimension of the model selected by LASSO which guarantees that this dimension is at most of the same order as the dimension of the 'true' model. Our rate results are non-asymptotic and hold in both parametric and nonparametric models. Moreover, our analysis is not limited to the LASSO estimator in the first step, but also applies to other estimators, for example, the trimmed LASSO, Dantzig selector, or any other estimator with good rates and good sparsity. Our analysis covers both traditional trimming and a new practical, completely data-driven trimming scheme that induces maximal sparsity subject to maintaining a certain goodness-of-fit. The latter scheme has theoretical guarantees similar to those of LASSO or post-LASSO, but it dominates these procedures as well as traditional trimming in a wide variety of experiments.

연구 동기 및 목표

• 후-LASSO 추정량의 이론적 성능을 고차원 선형 회귀 모형에서 분석하는 것.
• 후-LASSO가 수렴 속도와 편향 측면에서 LASSO를 능가할 수 있는 조건을 이해하는 것.
• LASSO에 의해 선택된 모형 차원에 대한 비점근적 희박성 경계를 설정하는 것.
• LASSO를 넘어서 트리밍된 LASSO와 Dantzig 선택기와 같은 다른 추정량으로 분석을 확장하는 것.
• 적합도를 유지하면서 최대한 희박한 모형을 선택하는 데이터 기반의 트리밍 기법을 개발하고 그 타당성을 입증하는 것.

제안 방법

• LASSO와 같은 첫 단계 페널티 추정량이 선택한 모형에 대해 일반 최소제곱법을 적용하여 후-LASSO 추정량을 구성하는 것.
• 선택된 모형의 희박성에 의존하는 추정 오차에 대한 비점근적 경계를 도출하는 것.
• LASSO가 선택한 모형의 차원이 참 모형의 차원과 같은 주기수(order) 내에 있도록 보장하는 새로운 희박성 경계를 도입하는 것.
• 지정된 적합도를 유지하면서 가장 희박한 모형을 선택하는 데이터 기반의 트리밍 절차를 제안하며, 이에 이론적 보장을 부여하는 것.
• LASSO 외의 추정량, 예를 들어 Dantzig 선택기와 트리밍된 LASSO에 대해, 그 유리한 수렴 속도와 희박성 특성을 활용하여 프레임워크를 확장하는 것.
• 올바른 위험 비교를 통해 성능을 평가하며, LASSO가 참 모형을 완벽하게 선택할 경우 후-LASSO가 올바른 추정량의 속도를 달성함을 보여주는 것.

실험 결과

연구 질문

• RQ1 후-LASSO가 LASSO보다 더 빠른 수렴 속도를 달성할 수 있는 조건은 무엇인가?
• RQ2 LASSO가 참 모형의 모든 성분을 포함하지 못할 경우에도 후-LASSO는 양호한 성능을 유지할 수 있는가?
• RQ3 LASSO가 선택한 모형의 희박성은 참 모형의 차원과 어떻게 관련이 있는가?
• RQ4 적합도 제약 조건 하에 최대한 희박성을 달성하는 데이터 기반의 트리밍 기법의 이론적 성질은 무엇인가?
• RQ5 후-LASSO 프레임워크는 LASSO를 초월하여 Dantzig 선택기와 같은 다른 추정량으로 일반화될 수 있는가?

주요 결과

• 후-LASSO는 LASSO와 동일한 수렴 속도를 달성하지만 편향이 감소하여 추정의 정확도가 향상된다.
• LASSO가 선택한 모형이 모든 참 성분을 포함하고 충분히 희박할 경우, 후-LASSO는 LASSO를 엄격히 능가할 수 있다.
• LASSO가 참 모형을 완벽하게 선택할 경우, 후-LASSO는 올바른 추정량이 되어 최적의 수렴 속도를 달성한다.
• 새로운 희박성 경계는 LASSO가 선택한 모형의 차원이 참 모형의 차원과 같은 주기수 내에 있음을 보장한다.
• 제안된 데이터 기반 트리밍 기법은 LASSO와 후-LASSO와 비교해 이론적 성능이 유사하지만, 실증 실험에서는 둘을 압도한다.
• 이 프레임워크는 Dantzig 선택기와 트리밍된 LASSO를 포함한, 양호한 수렴 속도와 희박성 특성을 지닌 다른 추정량으로 일반화될 수 있다.