[論文レビュー] Comparison of prediction errors: Adaptive p-values after cross-validation

Jelena Markovic, Lucy Xia+1 more|arXiv (Cornell University)|Mar 20, 2017

Statistical Methods and Bayesian Inference参考文献 17被引用数 10

ひとこと要約

本稿は、交差検証ラッソや関連手順を用いたモデル選択後の有効な選択的推論を可能にするフレームワークを提案する。このフレームワークは、漸近的に一様分布(0,1)に従うピボット量を導出することで実現される。選択統計量または検定統計量にガウスノイズを追加することにより、標準的仮定が成り立たない場合でも、選択されたパラメータに関する漸近的に有効な仮説検定と信頼区間が可能となる。シミュレーションでは、検出力とFDR制御の両面で良好な性能が示された。

ABSTRACT

We develop tools to do valid post-selective inference for a family of model selection procedures, including choosing a model via cross-validated Lasso. The tools apply universally when the following random vectors are jointly asymptotically multivariate Gaussian: 1. the vector composed of scores for each model evaluated under certain model selection criteria (e.g. cross-validation errors across folds, AIC, prediction errors etc.); 2. the test statistics which we use to do inference on the parameter of interest chosen after looking at the selected model. Under these assumptions, we derive a pivotal quantity that has an asymptotically Unif(0,1) distribution which can be used to perform tests and construct confidence intervals. Both the tests and confidence intervals are selectively valid for the chosen parameter. While the above assumptions may not be satisfied in some applications, we propose a novel variation to these model selection procedures by adding Gaussian randomizations to either one of the two vectors. We illustrate our method through adding randomization and applying our technical tools to four important procedures for which no valid selective inference has yet developed: cross-validated Lasso, cross-validated randomized Lasso, AIC-based model selection among a fixed set of models and a population version of LOCO of Rinaldo et al (2016). We also develop MCMC sampling scheme to construct valid post-selective confidence intervals empirically in cases with randomized model selection procedures. Finally, as a side product, we demonstrate via simulation that, with the help of selection-adjusted p-values after cross-validated randomized Lasso, we can achieve high-statistical power and FDR control, yielding results comparable to knockoffs (in simulations favorable to knockoffs), and much better results than non-randomized Lasso.

研究の動機と目的

• 交差検証ラッソのようなモデル選択手順後の選択的推論の一般枠組みを構築すること。標準的推論は選択バイアスのため無効となる。
• 選択基準として交差検証誤差のようなデータ駆動型基準が用いられる場合でも、選択されたモデルの条件下で仮説検定と信頼区間が有効に保たれることを保証すること。
• AICに基づくモデル選択や集団レベルのLOCOのような手順において、従来選択的推論手法が欠如していた点を解決すること。
• ランダマイズドモデル選択と選択補正p値を導入することで、高次元設定における統計的検出力と誤発見率（FDR）制御を向上させること。
• ランダマイズド手順における有効な選択的信頼区間を構築するための実用的なMCMCベースのサンプリング手法を開発すること。

提案手法

• 選択スコア（例：交差検証誤差）と検定統計量の同時漸近的多変量正規性に基づくピボット量を導出する。帰無仮説の下で、この量は一様分布(0,1)に漸近的に従うことを保証する。
• 元の仮定が成り立たない場合に備え、選択統計量または検定統計量にガウスノイズを導入することで、漸近的正規性を回復させる。
• ピボット統計量を基準分布として用い、選択されたモデルの下で条件付きに有効なp値と信頼区間を構築する。
• モデル選択にランダマイズが含まれる場合に、実証的に選択的信頼区間を計算するためのMCMCサンプリングアルゴリズムを開発する。
• 本フレームワークを4つの主要な手順に適用する：交差検証ラッソ、交差検証ラッソのランダマイズド版、AICに基づくモデル選択、集団レベルのLOCOのバージョン。
• シミュレーションスタディを用いて、選択補正p値の検出力とFDR制御の性能を評価し、ノンランダマイズドラッソおよびノックオフスと比較する。

実験結果

リサーチクエスチョン

• RQ1 交差検証ラッソによるモデル選択後でも、選択がデータ駆動型基準に依存する場合でも、漸近的に有効なp値と信頼区間を構築できるか？
• RQ2 選択統計量と検定統計量の同時漸近的正規性が成り立たない場合、どのようにして選択的推論の有効性を保証できるか？
• RQ3 ガウスノイズの導入が、高次元モデル選択における選択的推論の有効性と検出力に与える影響は何か？
• RQ4 ランダマイズドラッソからの選択補正p値は、FDR制御とノックオフスと同等またはそれ以上の高い統計的検出力を達成できるか？
• RQ5 モデル選択にランダマイズが含まれる場合、どのようにして有効な選択的信頼区間を実証的に構築できるか？

主な発見

• 提案されたピボット量は、帰無仮説の下で漸近的に一様分布(0,1)に従うため、モデル選択後の有効な仮説検定が可能となる。
• ガウスノイズの導入により、元の仮定が成り立たない場合でも、漸近的正規性が回復され、有効な推論が可能になる。
• 本手法は、従来は取り扱いが困難であった4つの手順（交差検証ラッソ、交差検証ラッソのランダマイズド版、AICに基づくモデル選択、集団レベルのLOCO）に対し、有効な選択的推論を提供する。
• シミュレーション結果から、ランダマイズドラッソからの選択補正p値は高い統計的検出力とFDR制御を達成しており、ノンランダマイズドラッソと同等またはそれ以上の性能を示し、ノックオフスに対しても有利に働くことがわかった。
• MCMCサンプリング手法により、ランダマイズドモデル選択手順における有効な選択的信頼区間を実証的に構築できるようになった。
• 本フレームワークは、ランダマイズが有効性を保証するだけでなく、高次元設定における推論性能の向上にも利用可能であることを示している。