[論文レビュー] Asymptotic Properties of Lasso+mLS and Lasso+Ridge in Sparse High-dimensional Linear Regression

Hanzhong Liu, Bin Yu|arXiv (Cornell University)|Jun 24, 2013

Statistical Methods and Inference参考文献 37被引用数 6

ひとこと要約

本稿は、高次元スパース線形モデルにおけるLasso+mLSおよびLasso+Ridge推定量の漸近的不偏性、正規性、およびオラクル性を確立する。また、妥当な推論を可能にするパラメトリックな残差ブートストラップ手順を提案し、両手法が平均二乗誤差において $s/n$ の最適収束速度を達成することを証明している。さらに、バイアスは指数関数的に速く減少する。

ABSTRACT

We study the asymptotic properties of Lasso+mLS and Lasso+Ridge under the sparse high-dimensional linear regression model: Lasso selecting predictors and then modified Least Squares (mLS) or Ridge estimating their coefficients. First, we propose a valid inference procedure for parameter estimation based on parametric residual bootstrap after Lasso+mLS and Lasso+Ridge. Second, we derive the asymptotic unbiasedness of Lasso+mLS and Lasso+Ridge. More specifically, we show that their biases decay at an exponential rate and they can achieve the oracle convergence rate of $s/n$ (where $s$ is the number of nonzero regression coefficients and $n$ is the sample size) for mean squared error (MSE). Third, we show that Lasso+mLS and Lasso+Ridge are asymptotically normal. They have an oracle property in the sense that they can select the true predictors with probability converging to 1 and the estimates of nonzero parameters have the same asymptotic normal distribution that they would have if the zero parameters were known in advance. In fact, our analysis is not limited to adopting Lasso in the selection stage, but is applicable to any other model selection criteria with exponentially decay rates of the probability of selecting wrong models.

研究の動機と目的

• 高次元スパース線形モデルにおけるLasso+mLSおよびLasso+Ridge推定量の漸近的不偏性および正規性を確立すること。
• Lassoに基づく変数選択の後に、パラメトリックな残差ブートストラップを用いた妥当な推論手順を開発すること。
• 両手法が平均二乗誤差において $s/n$ のオラクル収束速度を達成することを示すこと。
• 推定量がオラクル性を有することを証明する：正しいモデルが事前に分かっているかのように、一貫したモデル選択と漸近的に正規な推定値が得られること。
• Lassoにとどまらず、モデル選択誤差率が指数関数的に減少する任意のモデル選択基準に対しても、分析を拡張できること。

提案手法

• Lasso+mLSおよびLasso+Ridge推定量の標本分布を近似するためのパラメトリックな残差ブートストラップ手順を提案する。
• $p$ および $s$ が $n$ とともに増加する高次元設定下での漸近的挙動を分析する。ここで $s$ は非ゼロ係数の数を表す。
• モデル選択の一貫性を保証するため、非表現性条件（Irrepresentable Condition）および制限固有値型の仮定を用いる。
• 集中不等式およびメトリックに基づくバインディング（例： $d^2$ ）を用いて、残差の経験的分布と真の分布との乖離を制御する。
• 弱い正則性条件の下で、 $\ell_2$ および $\ell_1$ ノルムを用いて推定誤差の収束速度を導出する。
• モデル選択後の高次元設定下でも中心極限定理の条件を満たすことを確認することで、漸近的正規性を確立する。

実験結果

リサーチクエスチョン

• RQ1 Lasso+mLSおよびLasso+Ridgeは、高次元スパース線形モデルにおいて漸近的不偏性を達成できるか？
• RQ2 これらの2段階推定量は、平均二乗誤差において $s/n$ のオラクル収束速度を達成するか？
• RQ3 Lasso+mLSおよびLasso+Ridgeは、真のモデルが事前に分かっている場合と同じ漸近的正規分布を有するか？
• RQ4 残差ブートストラップ手順は、これらの2段階推定量に対して妥当な推論を提供できるか？
• RQ5 モデル選択誤差率が指数関数的に減少する他のモデル選択手法に対しても、分析は拡張可能か、ただしLassoに限らない。

主な発見

• Lasso+mLSおよびLasso+Ridgeは漸近的に不偏であり、標本サイズが増加するにつれてバイアスが指数関数的に速く減少する。
• 両手法とも、平均二乗誤差において最適な $s/n$ 収束速度を達成しており、オラクルレートと一致する。
• 推定量は漸近的に正規であり、真の $\beta^*$ のサポートが事前に分かっている場合と同じ極限分布を有する。
• 提案されたパラメトリックな残差ブートストラップ手順は、正則性条件の下で2段階推定量の妥当な推論を提供する。
• オラクル性が成立する：正しいモデルが選択される確率は1に収束し、非ゼロ係数の推定値は漸近的に正規である。
• 理論的枠組みはLassoに限らず、モデル選択誤差率が指数関数的に減少する任意のモデル選択基準にも適用可能である。