[論文レビュー] False Discoveries Occur Early on the Lasso Path

Weijie Su, Małgorzata Bogdan+1 more|arXiv (Cornell University)|Nov 5, 2015

Statistical Methods and Inference参考文献 28被引用数 17

ひとこと要約

この論文は、独立な設計行列と線形スパースな設定における高次元線形モデルにおいて、無限の信号対雑音比と相関のない予測子が存在しても、Lassoパスは初期段階で必然的に誤検出を生じることを示している。近似メッセージパッシング（AMP）理論を用いて、型I誤検出と型II誤検出の間の鋭い漸近的トレードオフを導出し、スパースな設定下での変数選択においてLassoに内在する根本的な制限を明らかにした。

ABSTRACT

In regression settings where explanatory variables have very low correlations and there are relatively few effects, each of large magnitude, we expect the Lasso to find the important variables with few errors, if any. This paper shows that in a regime of linear sparsity---meaning that the fraction of variables with a non-vanishing effect tends to a constant, however small---this cannot really be the case, even when the design variables are stochastically independent. We demonstrate that true features and null features are always interspersed on the Lasso path, and that this phenomenon occurs no matter how strong the effect sizes are. We derive a sharp asymptotic trade-off between false and true positive rates or, equivalently, between measures of type I and type II errors along the Lasso path. This trade-off states that if we ever want to achieve a type II error (false negative rate) under a critical value, then anywhere on the Lasso path the type I error (false positive rate) will need to exceed a given threshold so that we can never have both errors at a low level at the same time. Our analysis uses tools from approximate message passing (AMP) theory as well as novel elements to deal with a possibly adaptive selection of the Lasso regularizing parameter.

研究の動機と目的

• 予測子の数に対して非ゼロ係数の数が線形に増加するスパースな設定下で、高次元回帰におけるLassoの根本的限界を調査すること。
• 信号が強く予測子が相関のない場合にLassoが真の特徴をわずかな誤差で信頼性高く選択できるという一般的な信念に挑戦すること。
• 特に、変数選択の過程で真の特徴とノイズ特徴が入り交じる様子を、線形スパース下でのLassoパスの挙動として分析すること。
• 信号強度や相関構造に依存しない、Lassoパス上の型I誤検出率と型II誤検出率の間の鋭い漸近的トレードオフを確立すること。
• 独立した設計と無限の信号対雑音比という理想状態でも、係数の縮小による影響により、Lassoパスの初期段階で誤検出が避けられないことを示すこと。

提案手法

• 独立な列をもつ確率的設計下でのLassoパスの漸近的挙動を分析するために、近似メッセージパッシング（AMP）理論を用いる。
• Lassoパス上での型I（誤検出）誤検出率と型II（見逃し）誤検出率の間の鋭い漸近的トレードオフを導出する。
• 有限サンプルサイズにおける誤ったモデル選択の確率を抑え込むために、確率的行列理論と集中不等式の道具を用いる。
• 正則化パrameter λ を減少させながら、変数がモデルにどの順序で導入されたり削除されたりするかを追跡することで、選択パスを分析する。
• 正則化パrameter λ の適応的選択を検討し、Lassoが同時に低い誤差率を達成できない条件を導出する。
• カイ二乗分布の尾部確率と測度集中の性質を活用して、Lasso解パスを真の特徴とノイズ特徴の寄与に分解する新規な手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 予測子が相関がなく信号が強い場合に、Lassoはパス上で同時に低い誤検出率と見逃し率を達成できるか？
• RQ2 線形スパースな設定下で、Lassoパス上での型I誤検出と型II誤検出の根本的トレードオフは何か？
• RQ3 相関がなく信号対雑音比が無限大であっても、なぜLassoパスの初期段階に誤検出が現れるのか？
• RQ4 係数の縮小は、Lassoパス上で誤検出が初期に現れる要因としてどのように寄与しているか？
• RQ5 初期の誤検出現象は設計行列の相関に起因するのか、それとも線形スパース下でのLassoの固有の性質に起因するのか？

主な発見

• 線形スパースな設定下では、非ゼロ係数の割合が定数に近づく場合、設計行列の列が独立であっても信号対雑音比が無限大であっても、Lassoパスの初期段階で誤検出は避けられない。
• 型I誤検出率と型II誤検出率の間には鋭い漸近的トレードオフが存在する。低い見逃し率を達成するためには、誤検出率が消えない閾値を超える必要がある。
• この現象は相関や弱い信号に起因するのではなく、Lassoに内在する縮小の性質に起因する。その結果、ノイズ特徴が真の特徴よりも先に選択ルートに現れる。
• 理想的な状況（相関のない設計、無限の信号対雑音比）下でも、正則化パスの構造によりLassoは初期の誤検出を回避できない。
• 理論的境界によると、任意の λ が λ > 2σ² および λ > σ²δ/(cε) を満たす限り、非ゼロ係数の数が n に線形に比例する場合、Lassoパスは無視できない誤検出率を示す。
• 分析により、Lassoは高次元設定下の線形スパースな状況では、主に変数スクリーニングとしての役割を果たすべきであり、モデル選択のための手法としては見なすべきでないことが確認された。