[論文レビュー] Post-L1-Penalized Estimators in High-Dimensional Linear Regression Models

Alexandre Belloni, Victor Chernozhukov|arXiv (Cornell University)|Dec 31, 2009

Statistical Methods and Inference被引用数 1

ひとこと要約

この論文は、LASSOによって選択されたモデルに対して非罰則回帰を適用するpost-LASSO推定量を導入し、LASSOと同等の収束速度を達成すると同時にバイアスを低減することを示している。本質的に、選択されたモデルがすべての真の成分を含み、十分にスパースである限り、LASSOが真の予測子を逸脱してもpost-LASSOはLASSOを上回る性能を発揮できる。LASSOが真のモデルを完璧に選択した場合には、post-LASSOはオラクルレートに達する。

ABSTRACT

In this paper we study post-penalized estimators which apply ordinary, unpenalized linear regression to the model selected by first-step penalized estimators, typically LASSO. It is well known that LASSO can estimate the regression function at nearly the oracle rate, and is thus hard to improve upon. We show that post-LASSO performs at least as well as LASSO in terms of the rate of convergence, and has the advantage of a smaller bias. Remarkably, this performance occurs even if the LASSO-based model selection 'fails' in the sense of missing some components of the 'true' regression model. By the 'true' model we mean here the best s-dimensional approximation to the regression function chosen by the oracle. Furthermore, post-LASSO can perform strictly better than LASSO, in the sense of a strictly faster rate of convergence, if the LASSO-based model selection correctly includes all components of the 'true' model as a subset and also achieves a sufficient sparsity. In the extreme case, when LASSO perfectly selects the 'true' model, the post-LASSO estimator becomes the oracle estimator. An important ingredient in our analysis is a new sparsity bound on the dimension of the model selected by LASSO which guarantees that this dimension is at most of the same order as the dimension of the 'true' model. Our rate results are non-asymptotic and hold in both parametric and nonparametric models. Moreover, our analysis is not limited to the LASSO estimator in the first step, but also applies to other estimators, for example, the trimmed LASSO, Dantzig selector, or any other estimator with good rates and good sparsity. Our analysis covers both traditional trimming and a new practical, completely data-driven trimming scheme that induces maximal sparsity subject to maintaining a certain goodness-of-fit. The latter scheme has theoretical guarantees similar to those of LASSO or post-LASSO, but it dominates these procedures as well as traditional trimming in a wide variety of experiments.

研究の動機と目的

• 高次元線形回帰モデルにおけるpost-LASSO推定量の理論的性能を分析すること。
• post-LASSOが収束速度およびバイアスの観点でLASSOを上回る条件を理解すること。
• LASSOが選択するモデル次元に対する非漸近的スパース性バウンドを確立すること。
• LASSOを超えて、トリムドLASSOやDantzig選択子などの他の推定量への分析を拡張すること。
• 適合度を保ちつつスパース性を最大化するデータ駆動型トリミングスキームの開発と正当化すること。

提案手法

• LASSOなどの1段階目の罰則付き推定量によって選択されたモデルに対して通常最小二乗法を適用し、post-LASSO推定量を構築する。
• 選択されたモデルのスパース性に依存する推定誤差の非漸近的バウンドを導出する。
• LASSOが選択するモデル次元が真のモデルの次元と同程度のオーダーに収まるように保証する新しいスパース性バウンドを導入する。
• 所定の適合度を満たす最良のスパースモデルを選択するデータ駆動型トリミング手順を提案し、理論的保証を付与する。
• Dantzig選択子やトリムドLASSOなどの他の推定量に対しても、その良好な収束速度とスパース性特性を活用してフレームワークを拡張する。
• オラクルリスク比較を用いて性能を評価し、LASSOが真のモデルを完璧に選択した場合にはpost-LASSOがオラクルレートに達することを示す。

実験結果

リサーチクエスチョン

• RQ1 post-LASSOがLASSOよりも速い収束速度を達成する条件は何か？
• RQ2 LASSOが真のモデルのすべての成分を含まない場合でも、post-LASSOは良好な性能を維持できるか？
• RQ3 LASSOが選択するモデルのスパース性は、真のモデルの次元とどのように関係するか？
• RQ4 適合度制約下でスパース性を最大化するデータ駆動型トリミングスキームの理論的性質は何か？
• RQ5 post-LASSOフレームワークは、LASSOを超える推定量、例えばDantzig選択子に対しても一般化可能か？

主な発見

• post-LASSOはLASSOと同等の収束速度を達成するが、バイアスが低減されているため推定がより正確になる。
• LASSOが選択するモデルがすべての真の成分を含み、十分にスパースである限り、post-LASSOはLASSOを厳密に上回る性能を発揮できる。
• LASSOが真のモデルを完璧に選択した場合、post-LASSOはオラクル推定量となり、最適な収束速度に達する。
• 新しいスパース性バウンドにより、LASSOが選択するモデル次元が真のモデルの次元と同程度のオーダーに収まることが保証される。
• 提案されたデータ駆動型トリミングスキームは、理論的性能がLASSOおよびpost-LASSOと同等であり、実験的にそれらを凌駕する。
• Dantzig選択子やトリムドLASSOなどの、良好な収束速度とスパース性を有する他の推定量に対しても、このフレームワークは一般に適用可能である。