[論文レビュー] False Variable Selection Rates in Regression

Max G’Sell, Trevor Hastie+1 more|arXiv (Cornell University)|Feb 10, 2013

Statistical Methods and Inference参考文献 14被引用数 9

ひとこと要約

本稿では、予測子の相関がある状況で従来の誤り発見率（FDR）の直感的でない振る舞いを是正するため、回帰における変数選択の新しい誤り基準として、偽変数レート（FVR）を提案する。FVRは、選択された変数への射影に基づいて定義され、高次元かつ相関のある設定においてより直感的で安定した誤り制御を可能にする。ステップワイズ回帰推定器は、シミュレーションと理論的分析を通じて検証されている。

ABSTRACT

There has been recent interest in extending the ideas of False Discovery Rates (FDR) to variable selection in regression settings. Traditionally the FDR in these settings has been defined in terms of the coefficients of the full regression model. Recent papers have struggled with controlling this quantity when the predictors are correlated. This paper shows that this full model definition of FDR suffers from unintuitive and potentially undesirable behavior in the presence of correlated predictors. We propose a new false selection error criterion, the False Variable Rate (FVR), that avoids these problems and behaves in a more intuitive manner. We discuss the behavior of this criterion and how it compares with the traditional FDR, as well as presenting guidelines for determining which is appropriate in a particular setting. Finally, we present a simple estimation procedure for FVR in stepwise variable selection. We analyze the performance of this estimator and draw connections to recent estimators in the literature.

研究の動機と目的

• 予測子が相関を持つ回帰において、従来の誤り発見率（FDR）の直感的でない振る舞いを解消すること。
• 相関下で、完全モデルにおけるゼロ係数に基づく誤った選択の定義に生じる限界を特定すること。
• 選択された変数へのモデル射影に基づく、新たな誤り基準である偽変数率（FVR）を提案すること。
• 高次元かつ相関のある設定において、FVRがより直感的で安定した誤り制御を提供することを示すこと。
• ステップワイズ変数選択手順におけるFVRの実用的推定器の開発と分析を行うこと。

提案手法

• 選択された集合 $\mathcal{A}$ への射影モデルにおけるゼロ係数を有する選択変数の割合として、偽変数割合（FVP）を定義する。
• FVPの期待値として、完全モデルFDR定義に代わる偽変数率（FVR）を導入する。
• 段階的仮説検定における真の帰無仮説数の推定に、しきい値ベースの推定器 $\hat{V}_k^{(\lambda)} = \frac{\#\{p_j > \lambda; j \leq k\}}{1 - \lambda}$ を提案する。
• 推定器の最小期待値からの平均二乗偏差を最小化するように、ブートストラップを用いたチューニングにより $\lambda$ を選択する。
• 変数の順序付けがFVR推定に与える影響を分析し、ステップワイズ選択経路が最小バイアスをもたらす近似的に最適な順序付けに近いことを示す。
• 変数の順序付けが不適切な場合、FVR推定のバイアスは下方に偏るが、シミュレーションによりステップワイズ経路がこのバイアスを最小化する順序付けを生成することを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ予測子が相関を持つ回帰において、従来のFDR定義は直感的でない振る舞いを示すのか？
• RQ2 相関のある予測子が存在する状況で、より安定的かつ解釈可能な誤り基準をどのように定義できるか？
• RQ3 相関のある設計行列下で、提案されたFVR基準はFDRと比較してどのように振る舞うか？
• RQ4 ステップワイズ選択手順におけるFVRの信頼性が高く、計算が単純な推定器を構築できるか？
• RQ5 FVR推定器は変数の順序にどれほど敏感か？また、ステップワイズ選択が近似的に最適な順序付けを生成することを示せるか？

主な発見

• 完全モデルFDR定義は、予測子が相関を持つ場合、冗長な変数と真正にゼロの変数を区別できないため、直感的でない振る舞いを示す。
• 選択モデルへの射影に基づく提案されたFVR基準は、相関のある設定において、選択された変数の真の有意性をより適切に反映する。
• しきい値付きp値法によるFVR推定は、真の帰無仮説数の下限を提供し、妥当な順序付け仮定下で頑健である。
• 変数の順序付けが不適切な場合、推定のバイアスは下方に偏るが、シミュレーションによりステップワイズ選択がこのバイアスを最小化する順序付けを生成することが示された。
• ステップワイズ経路が最も近い理想順序に近いと仮定すれば、FVR推定器は一貫性を示し、ノイズ変数による摂動は最小限に抑えられる。
• FVRフレームワークは、相関のある予測子を伴う高次元回帰において、FDRのより直感的で安定した代替手段を提供する。