[論文レビュー] Inference for feature selection using the Lasso with high-dimensional data

Kasper Brink‐Jensen, Claus Thorn Ekstrøm|arXiv (Cornell University)|Mar 17, 2014

Statistical Methods and Inference参考文献 17被引用数 9

ひとこと要約

本論文は、高次元設定（p ≫ n）におけるlassoによる特徴選択結果に対して、ランダム化に基づく有意性検定手順を提案する。これにより、予測子の数が標本サイズをはるかに上回る状況でも、選択された予測子に対して有効なp値を提供できる。この手法は、家族誤り率（FWER）を制御し、多様なシミュレーション設定および実データ（前立腺がんデータセット含む）において、真正に関連する予測子を検出する高い検出力を持つ。

ABSTRACT

Penalized regression models such as the Lasso have proved useful for variable selection in many fields - especially for situations with high-dimensional data where the numbers of predictors far exceeds the number of observations. These methods identify and rank variables of importance but do not generally provide any inference of the selected variables. Thus, the variables selected might be the "most important" but need not be significant. We propose a significance test for the selection found by the Lasso. We introduce a procedure that computes inference and p-values for features chosen by the Lasso. This method rephrases the null hypothesis and uses a randomization approach which ensures that the error rate is controlled even for small samples. We demonstrate the ability of the algorithm to compute $p$-values of the expected magnitude with simulated data using a multitude of scenarios that involve various effects strengths and correlation between predictors. The algorithm is also applied to a prostate cancer dataset that has been analyzed in recent papers on the subject. The proposed method is found to provide a powerful way to make inference for feature selection even for small samples and when the number of predictors are several orders of magnitude larger than the number of observations. The algorithm is implemented in the MESS package in R and is freely available.

研究の動機と目的

• p ≫ n の高次元データにおいて、lassoによって選択された特徴に対して形式的な推論（例：p値）が欠落している問題に対処すること。
• 予測子の数が莫大で標本サイズが小さい状況でも、家族誤り率（FWER）を制御できる手法を開発すること。
• 研究者が、OLSに結果を移行して推論を行うのではなく、lassoによって選択された特徴の統計的有意性を直接評価できるようにすること。
• lassoに限らず、任意のスパース正則化法に適用可能な汎用的なフレームワークを提供すること。
• 遺伝子情報学やその他の分野における仮説生成を支援し、変数選択によって同定された特徴に有意性を割り当てる。

提案手法

• 個々の回帰係数を検定する代わりに、選択された予測子が実際に応答変数に関連しているかどうかを検定する帰無仮説に再定式化する。
• 応答変数に関連する予測子が存在しないという仮定の下で、lasso選択の帰無分布をランダム化／再サンプリングによって生成する。
• 各選択された特徴について、ランダム化データセットにおける選択頻度を観察された選択頻度と比較してp値を計算する。
• lassoに内在する選択バイアスを考慮することで、p ≫ n の状況下でも帰無仮説の下で第1種誤り率を適切に制御できるように設計されている。
• MESS Rパッケージに実装されており、大規模データに対して計算的にも効率的である。
• 選択およびランダム化ステップを適応することで、lassoに限らず（例：リッジ回帰、エンセット）任意のスパース正則化法に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 予測子数pが観察数nよりもはるかに大きい状況で、lassoによって選択された特徴に有効なp値を割り当てることは可能か？
• RQ2 提案されたランダム化に基づく手法は、小標本かつ高次元設定（p ≫ n）において家族誤り率（FWER）を適切に制御するか？
• RQ3 相関構造や効果量が変化する条件下で、真正に関連する予測子を検出する能力について、従来の手法（例：共分散検定、スプリット法）と比較して、本手法の検出力はどのように異なるか？
• RQ4 予測子が相関している場合や、真に因果関係を持つ予測子が僅かである場合でも、本手法は最も重要な予測子を信頼性高く同定できるか？
• RQ5 遺伝子情報学や前立腺がんデータ解析などの実世界の応用において、本手法は頑健で効果的か？

主な発見

• 本手法は、50件の観察数、最大250,000個の予測子でも、少なくとも1つの真正に関連する予測子を検出する高い統計的検出力を達成している。
• 本手法は、小標本およびp ≫ n の高次元設定下でも、家族誤り率（FWER）を効果的に制御している。
• シミュレーションでは、帰無仮説下で期待される大きさのp値が得られ、適切なキャリブレーションが行われていることが示された。
• 前立腺がんデータセットに適用した結果、本手法はlcavolを有意な予測子として正しく同定した。他の手法と整合的であるが、より強力な帰無仮説の下でp値が低く抑えられている。
• 特に二次的予測子において、スプリット法に比べてp値の精度が高く、相関のある予測子の下でも頑健な性能を示した。
• 観察数を30に減らしても良好な性能を維持しており、小標本遺伝子情報学研究における有用性が示された。