[論文レビュー] Exact Post-selection Inference for Forward Stepwise and Least Angle Regression

Jonathan Taylor, Richard Lockhart+2 more|arXiv (Cornell University)|Jan 16, 2014

Statistical Methods and Inference参考文献 15被引用数 30

ひとこと要約

本稿では、多面体的選択イベントの後での条件付き推論の一般枠組みを活用して、前方逐次法および最小角度回帰（LARS）における正確な選択後推論手法を導入する。有限標本における検定統計量の正確な帰無分布を導出し、正確な第一種誤り率制御が可能な有意確率（p値）の計算と、回帰係数の信頼区間の構築を可能にする。

ABSTRACT

In this paper we propose new inference tools for forward stepwise and least angle regression. We first present a general scheme to perform valid inference after any selection event that can be characterized as the observation vector y falling into some polyhedral set. This framework then allows us to derive conditional (post-selection) hypothesis tests at any step of the forward stepwise and least angle regression procedures. We derive an exact null distribution for our proposed test statistics in finite samples, yielding p-values with exact type I error control. The tests can also be inverted to produce confidence intervals for appropriate underlying regression parameters. Application of this framework to general likelihood-based regression models (e.g., generalized linear models and the Cox model) is also discussed.

研究の動機と目的

• 前方逐次法および最小角度回帰におけるモデル選択後の妥当な統計的推論を開発すること。
• 従来の手法が選択バイアスのため失敗する選択後推論の課題に対処すること。
• 選択イベント下での検定統計量の正確な有限標本帰無分布を提供すること。
• 一般化線形モデルやコックスモデルを含む尤度に基づく一般モデルへの枠組みの拡張。
• 選択後の回帰係数の信頼区間の構築を可能にすること。

提案手法

• 選択イベントを観測ベクトル y が多面体集合に属するという形で特徴付ける。
• 観測された選択イベントを条件として、y ∈ P（P は多面体）の下での条件付き推論を用いる。
• 選択イベントが観測されたもとで、帰無仮説の下での検定統計量の正確な有限標本分布を導出する。
• これにより前方逐次法および最小角度回帰に適用し、任意の選択段階で正確なp値を計算可能にする。
• このアプローチにより、検定の逆転を用いて選択された回帰係数の正確な信頼区間を構築できる。
• 尤度に基づくモデル、特に一般化線形モデルやコックス比例ハザードモデルへの枠組みの拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 前方逐次法における正確な選択後推論が、正確な第一種誤り率制御とともに実現可能か？
• RQ2 同様の枠組みが有限標本保証のもとで最小角度回帰に適用可能か？
• RQ3 多面体集合で定義される選択イベント後の検定統計量に対して、正確なp値をどのように導出できるか？
• RQ4 選択後の回帰係数の信頼区間を、選択下で正確な被覆確率を満たす形で構築可能か？
• RQ5 この枠組みを一般化線形モデル（GLM）やコックスモデルなどの尤度に基づくモデルへどの程度一般化できるか？

主な発見

• 提案された枠組みにより、有限標本における検定統計量の正確な帰無分布が得られ、正確な第一種誤り率制御が保証される。
• 本手法により、前方逐次法および最小角度回帰の任意の選択段階で妥当なp値が得られる。
• 提案された検定の逆転により、回帰係数の正確な信頼区間を構築できる。
• この枠組みは一般尤度ベースのモデル（一般化線形モデルやコックスモデルを含む）へ拡張可能である。
• 本アプローチにより、広範な選択手順にわたる選択後推論の統一的枠組みが提供される。
• 本手法は多面体的選択イベントの条件付き推論に依存しており、漸近的近似を用いない正確な推論が可能である。