[論文レビュー] The adaptive and the thresholded Lasso for potentially misspecified models

Sara van de Geer, Peter Bühlmann+1 more|arXiv (Cornell University)|Jan 28, 2010

Statistical Methods and Inference参考文献 30被引用数 11

ひとこと要約

本稿は、真の回帰関数が非線形である可能性のある高次元線形モデルにおいて、適応的lassoとしきい値付きlasso（再適合を伴う）の理論的比較を提供する。両手法とも1段階lassoと同等の予測誤差および推定誤差を達成するが、特に弱い制限固有値条件下では、しきい値付きlassoが誤検出（偽陽性選択）の上限をより厳密に抑えられる。

ABSTRACT

We revisit the adaptive Lasso as well as the thresholded Lasso with refitting, in a high-dimensional linear model, and study prediction error, $\ell_q$-error ($q \in \{1, 2 \} $), and number of false positive selections. Our theoretical results for the two methods are, at a rather fine scale, comparable. The differences only show up in terms of the (minimal) restricted and sparse eigenvalues, favoring thresholding over the adaptive Lasso. As regards prediction and estimation, the difference is virtually negligible, but our bound for the number of false positives is larger for the adaptive Lasso than for thresholding. Moreover, both these two-stage methods add value to the one-stage Lasso in the sense that, under appropriate restricted and sparse eigenvalue conditions, they have similar prediction and estimation error as the one-stage Lasso, but substantially less false positives.

研究の動機と目的

• 真の回帰関数が非線形である可能性のある高次元線形モデルにおいて、適応的lassoとしきい値付きlasso（再適合を伴う）の理論的比較を行うこと。
• 設計行列に最小限の仮定を置いたもとで、予測誤差、ℓq誤差（q ∈ {1,2}）、および誤検出選択の分析を行うこと。
• 設計行列にきついirrepresentable条件や不整合性条件を要しないで、変数選択性能を評価すること。
• 2段階手法が1段階lassoを上回ることを示し、誤検出を低減しつつ、予測および推定精度を同等に維持できることを示すこと。

提案手法

• 1段階lassoを用いて初期係数推定値を取得した後、2つの異なる2段階手順（適応的lassoとしきい値付きlasso＋再適合）を実施する。
• 適応的lassoは、初期推定値の逆数を重みとして用いた重み付きℓ1正則化回帰により実装される：β̂_adap = argmin{‖Y−Xβ‖²/n + λ_init λ_adap ∑|βj|/|β̂j,init|}。
• しきい値付きlassoは、|β̂j,init| > λ_thres を満たす変数を選択し、その集合上で通常最小二乗法を再適合して推定する。
• 不均一性やスパース固有値条件（不整合性より弱い）を用いて、予測誤差、推定誤差、変数選択誤差の非漸近的上限を導出する。
• 設計行列の構造とグラム行列の最小固有値を用いて、誤検出選択の上限を導出する。
• 予測誤差および推定誤差を近似誤差と推定誤差の成分に分解し、集中不等式および経験過程論を活用する。

実験結果

リサーチクエスチョン

• RQ1 高次元的かつ潜在的にモデル不適合のある状況下で、適応的lassoとしきい値付きlassoの予測誤差および推定誤差はどのように比較されるか？
• RQ2 特に弱い固有値条件下で、両手法の誤検出選択性能は相対的にどうなるか？
• RQ3 しきい値付きlassoは、予測精度を損なわずに、適応的lassoよりも優れた変数選択一貫性を達成できるか？
• RQ4 両2段階手法が誤検出制御の観点で1段階lassoを上回る条件は何か？
• RQ5 誤差および選択誤差の理論的上限は、設計行列の最小および最大固有値にどのように依存するか？

主な発見

• 最小制限固有値またはスパース固有値が小さく、かつ最大固有値が大きい場合、しきい値付きlassoは適応的lassoよりも誤検出数の上界が小さくなる。
• 適切な制限およびスパース固有値条件下では、両手法とも1段階lassoと同等の予測誤差およびℓq誤差（q ∈ {1,2}）の上限を達成する。
• 適応的lassoの変数選択性能はその予測誤差に依存するが、しきい値付きlassoの選択は独立して分析可能であり、よりタイトな上限が得られる。
• 適応的lassoの誤検出上限はΛ_sparse²(s₀) δ̂_adap² / λ_adap²に比例するが、弱い固有値条件下ではしきい値付きlassoの上限が小さい。
• 真の係数が十分に大きい場合、真の係数の逆数を用いた洗練された解析により、適応的lassoはより良い上限を達成できる。
• 設計行列の相関が高く、スパarsityが弱い状況下でも、再適合付きしきい値付きlassoはより頑健な変数選択メカニズムを提供する。