[論文レビュー] Bolasso: model consistent Lasso estimation through the bootstrap

Francis Bach|ArXiv.org|Apr 8, 2008

Statistical Methods and Inference参考文献 12被引用数 38

ひとこと要約

この論文は、高次元線形回帰における一貫性のある変数選択を向上させるためのブートストラップに基づく手法Bolassoを提案する。複数のブートストラップ標本からのLasso推定値のサポートを積み重ねることで、相関のため標準Lassoが失敗する状況でもモデルの一貫性を達成する。標本サイズが増加するにつれ、正しいモデル選択の確率は指数関数的に1に収束する。

ABSTRACT

We consider the least-square linear regression problem with regularization by the l1-norm, a problem usually referred to as the Lasso. In this paper, we present a detailed asymptotic analysis of model consistency of the Lasso. For various decays of the regularization parameter, we compute asymptotic equivalents of the probability of correct model selection (i.e., variable selection). For a specific rate decay, we show that the Lasso selects all the variables that should enter the model with probability tending to one exponentially fast, while it selects all other variables with strictly positive probability. We show that this property implies that if we run the Lasso for several bootstrapped replications of a given sample, then intersecting the supports of the Lasso bootstrap estimates leads to consistent model selection. This novel variable selection algorithm, referred to as the Bolasso, is compared favorably to other linear regression methods on synthetic data and datasets from the UCI machine learning repository.

研究の動機と目的

• 予測変数間の相関が高いために標準Lassoがモデルの一貫性を達成できないという限界を解決すること。
• 特定の正則化パラメータの減衰率の下でのLassoの変数選択性能の漸近的挙動を分析すること。
• ブートストラップリサンプリングを活用して、モデル選択の信頼性を向上させる新しい一貫性のある変数選択手順を開発すること。
• 複数のブートストラップLasso推定値のサポートを積み重ねることで、設計行列に強い仮定を必要としない一貫性のあるモデル推定が得られることを示すこと。

提案手法

• 元のデータセットから抽出された複数のブートストラップ標本にLassoを適用する。
• 各ブートストラップ標本に対してLasso解を計算し、それぞれの非ゼロ係数の集合（サポート）を収集する。
• 最終的なモデルは、すべてのブートストラップLasso推定値のサポートの共通部分をとることで得られ、すべての反復で一貫して選択された変数のみが保持される。
• 理論的分析により、正則化パラメータの減衰率が $ n^{-1/2} $ の場合、Lassoはすべての関連変数を確率1に近づく速度で選択することが示される。
• この方法はモデル一貫性を示す：標本サイズが増加するにつれて、サポートの共通部分は確率1で真のモデルに収束する。
• このアプローチは、すべてのブートストラップ反復で選択された変数のみを保持するコンSENSUS結合方式として定式化される。これにより、誤検出（偽陽性）が排除される。

実験結果

リサーチクエスチョン

• RQ1 標準Lassoは、高次元線形回帰においてどのような条件下でモデルの一貫性を達成するか？
• RQ2 正則化パラメータのどの減衰率が、Lassoがすべての関連変数を確率1に近づく速度で選択する保証を与えるか？
• RQ3 ブートストラップリサンプリングを用いて、予測変数の相関のため標準Lassoが失敗する状況でも一貫性のあるモデル選択手順を構築できるか？
• RQ4 複数のブートストラップLasso推定値のサポートを積み重ねることで、一貫性のあるモデル推定が得られるか？
• RQ5 提案手法は、非表現性条件や低相関仮定といった強い仮定を必要とせずに、一貫性のある変数選択を達成できるか？

主な発見

• 正則化パラメータの減衰率が $ n^{-1/2} $ の場合、Lassoはすべての関連変数を確率1に近づく速度で選択する。
• 同じ減衰率の下で、Lassoは誤った変数を厳密に正の確率で選択するため、ブートストラップ標本間の共通部分をとることでそれらを除去可能である。
• ブートストラップLasso推定値のサポートを積み重ねるBolasso手法は、非表現性条件を必要とせず、モデルの一貫性を達成する。
• 弱いモーメントおよびサポートの仮定の下で、Bolassoが正しいモデルを選択する確率は、標本サイズ $ n $ とともに指数関数的に1に収束する。
• 合成データおよびUCI機械学習データセットにおいて、標準Lassoや他の正則化手法に比べて、特に相関が高い状況で優れた性能を示す。
• 理論的分析により、サポートの共通部分が、関連変数を欠落させる確率が指数関数的に減少するため、誤検出を除去しながらすべての真の変数を保持することが確認された。