[論文レビュー] Stability Selection

Nicolai Meinshausen, Peter Buehlmann|ArXiv.org|Sep 17, 2008

Statistical Methods and Inference参考文献 38被引用数 35

ひとこと要約

Stability Selection は、誤検出の有限標本誤差率を制御することで、高次元データにおける変数選択および構造推定を強化する汎用的な部分標本法である。これは、弱い正則性条件下でもLassoの一貫性を向上させ、保証付きの誤差制御と多様な統計モデルにおける性能向上を実現する。

ABSTRACT

Estimation of structure, such as in variable selection, graphical modelling or cluster analysis is notoriously difficult, especially for high-dimensional data. We introduce stability selection. It is based on subsampling in combination with (high-dimensional) selection algorithms. As such, the method is extremely general and has a very wide range of applicability. Stability selection provides finite sample control for some error rates of false discoveries and hence a transparent principle to choose a proper amount of regularisation for structure estimation. Variable selection and structure estimation improve markedly for a range of selection methods if stability selection is applied. We prove for randomised Lasso that stability selection will be variable selection consistent even if the necessary conditions needed for consistency of the original Lasso method are violated. We demonstrate stability selection for variable selection and Gaussian graphical modelling, using real and simulated data.

研究の動機と目的

• 高次元変数選択および構造推定における正則化の最適選択という、長年の課題に取り組むこと。
• 漸近的手法が信頼できない高次元設定において、誤発見率に対する有限標本制御を提供すること。
• 古典的正則性条件が満たされない場合でも、Lasso などの変数選択手法の一貫性と信頼性を向上させること。
• 線形回帰、グラフィカルモデリング、クラスタリングなど、多様な問題に適用可能な汎用フレームワークを開発すること。
• 部分標本化と選択アルゴリズムの組み合わせが、標準的手法よりも安定的かつ正確な構造推定を実現することを示すこと。

提案手法

• データの繰り返し部分標本化を行い、複数のサブセットにおける変数または構造の選択頻度を推定する。
• 各部分標本に対して、固定された正則化パラメータを用いて選択アルゴリズム（例：Lasso）を適用し、各変数が何回選択されたかを記録する。
• 変数をその選択頻度で順位付けし、閾値を適用して安定的で高頻度の選択を特定する。
• 部分標本化と変数選択の両方にランダム化を組み込み、ランダムフォレストの原理に類似させることで、耐性を高める。
• 集中不等式を用いて誤発見の確率を抑え、理論的に有限標本における家族wise誤り率を制御する。
• 線形モデルおよびガウス・グラフィカル・モデルに適用し、標準Lassoよりも弱い条件下でも一貫性の理論的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 部分標本化を用いて、高次元変数選択における有限標本誤差率を制御できるか？
• RQ2 古典的正則性条件が満たされない状況下でも、Stability Selection が Lasso の一貫性を向上させられるか？
• RQ3 多様な統計的問題に適用可能な汎用的かつモデルに依存しないフレームワークを開発できるか？
• RQ4 部分標本化と選択のランダム化が、安定性と選択精度をどのように向上させるか？
• RQ5 部分標本化頻度と誤発見制御との理論的関係は何か？

主な発見

• Stability Selection は、多重検定における家族wise誤り率に対して有限標本制御を提供し、正則化選択の透明な原則を提供する。
• シミュレーションおよび実世界のデータにおいて、Lasso を含む多様なアルゴリズムの変数選択性能が向上する。
• ランダム化Lassoの場合、標準Lassoが必要な正則性条件を満たさないために失敗する状況でも、Stability Selection は変数選択の一貫性を達成する。
• 理論的分析により、Stability Selection は、特に高次元設定において、Lasso の一貫性に必要な設計行列に関する仮定を緩和することが示された。
• 実証的結果により、変数選択およびガウス・グラフィカル・モデリングの両方において、構造推定の性能が顕著に向上した。
• 選択頻度（安定経路）により、弱い信号や予測変数間の高相関が存在する状況でも、真の信号の信頼性のある同定が可能である。