[論文レビュー] Selective inference after cross-validation

Joshua R. Loftus|arXiv (Cornell University)|Nov 28, 2015

Statistical Methods and Inference参考文献 3被引用数 19

ひとこと要約

この論文は、交差検証を用いて選択されたモデルに対する選択的仮説検定のフレームワークを導入し、モデル選択プロセスにおける2次制約を活用することで、選択された変数に対する有効な仮説検定を可能にする。Lassoや前向きステップワイズモデルにおいて、交差検証で選択された係数について、誤差分散σ²の知識がなくても有効なp値と信頼区間を提供する。これは、選択事象を条件付け、帰無分布を切断することで実現される。

ABSTRACT

This paper describes a method for performing inference on models chosen by cross-validation. When the test error being minimized in cross-validation is a residual sum of squares it can be written as a quadratic form. This allows us to apply the inference framework in Loftus et al. (2015) for models determined by quadratic constraints to the model that minimizes CV test error. Our only requirement on the model training pro- cedure is that its selection events are regions satisfying linear or quadratic constraints. This includes both Lasso and forward stepwise, which serve as our main examples throughout. We do not require knowledge of the error variance $σ^2$. The procedures described here are computationally intensive methods of selecting models adaptively and performing inference for the selected model. Implementations are available in an R package.

研究の動機と目的

• 交差検証によるモデル選択後の有効な統計的推論を可能にする手法の開発。交差検証は広く用いられているが、それまでの形式的推論フレームワークが不足していた。
• Loftusら（2015）の選択的仮説検定フレームワークを、残差平方和を最小化するような交差検証に基づくモデル選択手順に拡張すること。
• 高次元モデルにおいて、交差検証によって適応的に選択されたモデルの係数に関する仮説検定を可能にすること。
• モデル選択バイアスの下でも第1種誤りを制御する理論的に妥当なが、計算コストの高いアプローチを提供すること。
• 誤差分散σ²の事前知識がなくても、Lassoおよび前向きステップワイズ回帰の両方の推論を可能にすること。

提案手法

• 交差検証によるモデル選択事象を2次制約としてモデル化し、LoftusとTaylor（2015）の選択的仮説検定フレームワークを適用可能にする。
• モデル選択領域を、応答ベクトルyを含む2次不等式の積集合として表現することで、推論に適した幾何的構造を獲得する。
• 各選択モデルに対して、選択事象を条件付け、検定統計量（例：t、χ²、F）の帰無分布をモデル選択領域に切り詰めてp値を計算する。
• Lassoおよび前向きステップワイズの両方の選択事象を2次制約として表現することで、交差検証によってチューニングパrameter λが選択される場合でも対応可能にする。
• σ²が未知の場合には、選択的t検定やF検定、または交差検証に基づく方法によるσの推定を用いる。
• K-fold交差検証と二乗誤差損失を用いたモデル選択に対応するRパッケージとして実装されている。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さが適応的に選択される交差検証によって選択された回帰係数について、有効な統計的推論が可能か？
• RQ2 固定されたチューニングパrameterではなく、交差検証に依存するモデル選択手順に、選択的仮説検定フレームワークをどのように拡張できるか？
• RQ3 交差検証後の推論に、誤差分散σ²が未知であることが与える影響は何か？ そして、選択的仮説検定フレームワーク内でどのように取り扱えるか？
• RQ4 モデルが交差検証によって選択された場合、有限標本における第1種誤りの制御と検出力は、どの程度維持されるか？
• RQ5 交差検証による選択事象の2次制約構造を活用して、選択されたモデルの正確なp値と信頼区間を導出可能か？

主な発見

• シミュレーションでは、全帰無仮説下でのp値の実現分布関数（empirical CDF）が、第1種誤りの制御を適切に維持していることが示された。
• 真の非帰無係数を含むシミュレーションでは、検出力が適切に発揮されており、真に非ゼロの係数に対してはp値が小さく、帰無仮説下でも適切に分布している。
• Lassoおよび前向きステップワイズ回帰の両方へ適用可能で、モデル選択事象が応答ベクトル上の2次制約として表現可能である。
• σ²の知識が不要であり、選択的t検定やF検定、または交差検証に基づく推定値を用いることができる。
• 2次選択領域の複雑な幾何構造のため、計算コストが高いため、将来のRパッケージリリースで最適化を計画している。
• 本論文は、残差平方和に基づく交差検証による選択が2次制約として定式化可能であることを確立し、既存の選択的仮説検定理論の適用を可能にした。