[論文レビュー] Model-Consistent Sparse Estimation through the Bootstrap

Francis Bach|ArXiv.org|Jan 21, 2009

Statistical Methods and Inference参考文献 39被引用数 19

ひとこと要約

本稿では、ブートストラップ標本からの複数のラッソ推定のサポートをインターセクトすることで、モデルの一貫性を向上させるブートストラップベースの変数選択法であるBolassoを提案する。特定の正則化パrameterの減少率のもとで、ラッソは高確率ですべての関連変数を選択し、無関係な変数を正の確率で選択する。これにより、交差による一貫性のあるモデル選択が可能となり、低次元および高次元設定において、2段階手順を用いることで特に有効である。

ABSTRACT

We consider the least-square linear regression problem with regularization by the $\ell^1$-norm, a problem usually referred to as the Lasso. In this paper, we first present a detailed asymptotic analysis of model consistency of the Lasso in low-dimensional settings. For various decays of the regularization parameter, we compute asymptotic equivalents of the probability of correct model selection. For a specific rate decay, we show that the Lasso selects all the variables that should enter the model with probability tending to one exponentially fast, while it selects all other variables with strictly positive probability. We show that this property implies that if we run the Lasso for several bootstrapped replications of a given sample, then intersecting the supports of the Lasso bootstrap estimates leads to consistent model selection. This novel variable selection procedure, referred to as the Bolasso, is extended to high-dimensional settings by a provably consistent two-step procedure.

研究の動機と目的

• 相関が高い設定において、真のスパース構造を回復できない場合に、ラッソのモデル不一致を解消すること。
• 低相関やスパース固有値といった制限的な仮定を必要としない、リサンプリングに基づくモデル一貫性を達成する手法の開発。
• ブートストラップリサンプリングとサポートのインターセクトを用いて、関連変数を一貫して特定する、新たな変数選択手順であるBolassoの提案。
• 弱い仮定のもとで一貫性を維持する2段階手順を用いて、高次元設定へのこの手法の拡張。
• 漸近的解析とラッソの一貫性のための新しい十分条件を用いた、この手法の理論的裏付けの提供。

提案手法

• 複数のブートストラップ標本上でラッソを実行し、それらのサポートをインターセクトすることで、すべての反復で一貫して選択された変数のみを選び出すBolasso手順を提案。
• 漸近的解析を用いて、正則化パrameterが $ n^{-1/2} $ の割合で減少する場合、ラッソは $ n \to \infty $ の下で、すべての関連変数を確率1に近い速さで選択することを示す。
• ブートストラップペアとブートストラップリサイクルをリサンプリング方式として用い、サポートのインターセクトに必要な複数のラッソ推定を生成。
• 2段階の高次元手順を導入：まず、より大きな正則化パrameterを用いて元のデータ上でラッソを実行し、次に推定されたサポート内でブートストラップを実行。
• スパース固有値に依存しない、ラッソの一貫性のための新しい十分条件を導出。
• 集中不等式と和集合の上限を用いて、誤ったモデル選択の確率を抑え、提案された枠組みのもとで一貫性を保証。

実験結果

リサーチクエスチョン

• RQ1 正則化パrameterが $ n^{-1/2} $ の割合で減少する場合、ラッソはモデル一貫性を達成できるか？ また、正しい変数選択の漸近的確率は何か？
• RQ2 複数のブートストラップ反復からのラッソ推定のサポートをインターセクトすることで、元のラッソが不一致であっても一貫性のあるモデル選択が可能になるか？
• RQ3 高次元設定（$ p \gg n $）において、Bolasso手順は一貫性を維持できるか？ そのような設定ではどのような修正が必要か？
• RQ4 ブートストラップペアとブートストラップリサイクルのどちらが高次元領域で一貫性のあるモデル選択をもたらすか？ また、それらの比較は？
• RQ5 スパース固有値や低相関仮定に依存しない、ラッソの一貫性のための新しい十分条件をどのように導出できるか？

主な発見

• 正則化パrameterが $ n^{-1/2} $ の割合で減少する場合、$ n \to \infty $ の下で、ラッソはすべての関連変数を確率1に近い速さで選択する。
• 同じパラメータ減少率のもとで、ラッソは無関係な変数を正の確率で選択するため、ブートストラップ標本間のサポートのインターセクトにより一貫性のあるモデル選択が可能になる。
• Bolasso手順（ブートストラップラッソ推定のサポートのインターセクト）は、制限的な条件（標準ラッソが不一致を引き起こす要因）を必要とせず、モデル一貫性を達成する。
• 高次元設定では、ブートストラップペアは一貫性を保証しないが、ブートストラップリサイクルは一貫性を保つため、このような領域ではリサイクルリサンプリングが好ましい。
• 最初の段階で大きな正則化パラメータを用い、次に推定されたサポート内でブートストラップを実行する2段階手順により、高次元でも証明可能なモデル選択の一貫性が達成される。
• 本手法は、スパース固有値条件や低相関仮定、微調整が必要なチューニングパラメータに依存せず、既存のラッソ変種よりもよりロバストな代替手法を提供する。