[論文レビュー] Unifying approach to selective inference with applications to cross-validation

Jelena Markovic, Lucy Xia+1 more|arXiv (Cornell University)|Mar 20, 2017

Fault Detection and Control Systems被引用数 9

ひとこと要約

本稿は、交差検証Lasso やAICに基づく選択など、特定のモデル選択手順に対して、モデルの質のスコアと検定統計量の漸近的同時正規性を活用することで、有効な選択後インファレンスの統一枠組みを提示する。必要に応じてガウスノイズを導入することで、この正規性を保証し、漸近的に一様なp値と有効な信頼区間を伴うピボタル推論を可能にする。

ABSTRACT

We develop tools to do valid post-selective inference for a family of model selection procedures, including choosing a model via cross-validated Lasso. The tools apply universally when the following random vectors are jointly asymptotically multivariate Gaussian: 1. the vector composed of each model's quality value evaluated under certain model selection criteria (e.g. cross-validation errors across folds, AIC, prediction errors etc.) 2. the test statistics from which we make inference on the parameters; it is worth noting that the parameters here are chosen after model selection methods are performed. Under these assumptions, we derive a pivotal quantity that has an asymptotically Unif(0,1) distribution which can be used to perform tests and construct confidence intervals. Both the tests and confidence intervals are selectively valid for the chosen parameter. While the above assumptions may not be satisfied in some applications, we propose a novel variation to these model selection procedures by adding Gaussian randomizations to either one of the two vectors. As a result, the joint distribution of the above random vectors is multivariate Gaussian and our general tools apply. We illustrate our method by applying it to four important procedures for which very few selective inference results have been developed: cross-validated Lasso, cross-validated randomized Lasso, AIC-based model selection among a fixed set of models and inference for a newly introduced novel marginal LOCO parameter, inspired by the LOCO parameter of Rinaldo et al (2016); and we provide complete results for these cases. For randomized model selection procedures, we develop Markov chain Monte Carlo sampling scheme to construct valid post-selective confidence intervals empirically.

研究の動機と目的

• 交差検証やAICに基づく選択などのモデル選択手順を考慮した、一般的かつ再利用可能な選択後インファレンスの枠組みを構築すること。
• 標準的な漸近的正規性の仮定が成立しない複雑な選択手順（例：交差検証Lasso）に対して、有効なインファレンスツールが不足している問題を解決すること。
• joint asymptotic normality が満たされない場合に、モデルの質のスコアまたは検定統計量にガウスノイズを導入することで、選択的インファレンスの有効性を保証すること。
• マージナルLOCOパラメータのような新たなパラメータへの応用を拡張し、データ依存的なモデル選択後のインファレンスを可能にすること。
• MCMCサンプリングを含む経験的手法を提供し、ランダム化モデル選択設定における有効な信頼区間の構築を可能にすること。

提案手法

• 本手法は、2つの確率的ベクトルの漸近的同時多変量正規性に依存している：(1) モデルの質のスコア（例：交差検証誤差）、(2) 選択されたパラメータの検定統計量。
• joint normality 仮定が成立しない場合、質のスコアのベクトルまたは検定統計量のベクトルに微小なガウスノイズを導入することで、漸近的正規性を誘導する。
• ランダム化はモデル選択の結果に影響を与えないように設計されており、選択の性質を保ちつつインファレンスを可能にする。
• 帰無仮説の下で漸近的に一様分布 (0,1) に従うピボタル量が導出され、選択条件付きの有効なp値と信頼区間の構築が可能になる。
• ランダム化手順に対しては、マルコフ連鎖モンテカルロ（MCMC）サンプリングスキームを構築し、経験的に選択後信頼区間を構築する。
• 本フレームワークは4つの状況に適用されている：交差検証Lasso、交差検証ランダム化Lasso、AICに基づくモデル選択、および新規のマージナルLOCOパラメータに関するインファレンス。

実験結果

リサーチクエスチョン

• RQ1 交差検証やAICを含む多様なモデル選択手順に適用可能な、一様な一般枠組みを構築できるか？
• RQ2 モデルの質のスコアと検定統計量の同時分布が漸近的に多変量正規でない場合、どのように有効なインファレンスを実施できるか？
• RQ3 モデルの質のスコアまたは検定統計量にガウスノイズを追加することで、インファレンスの有効性と効率性にどのような影響を与えるか？
• RQ4 マージナルLOCOパラメータのような新たなパラメータへ、本フレームワークを拡張できるか？このパラメータには、これまでにインファレンスツールが存在しなかった。
• RQ5 得られた信頼区間とp値は、標準的なデータ分割法と比較して、カバレッジと長さの点でどのように異なるか？

主な発見

• 提案手法により、(0,1) 上で漸近的に一様に分布するピボタル量が得られ、有効な選択的仮説検定と信頼区間の構築が可能になる。
• 交差検証Lassoに対しては、選択された係数に関する有効なインファレンスが、選択イベントが複雑であっても可能になる。
• 質のスコアのベクトルまたは検定統計量にガウスノイズを追加することで、joint asymptotic normality が保証され、フレームワークの普遍的適用が可能になる。
• シミュレーションでは、データカービングを用いた信頼区間（平均長さ 0.18）は、分割法による区間（0.34）よりも顕著に短く、カバレッジは91% vs. 92%と比較的同等であった。
• 本手法により、本研究で新たに導入されたマージナルLOCOパラメータに対する有効なp値が得られ、これまではインファレンスツールが存在しなかった。
• MCMCサンプリングスキームにより、ランダム化モデル選択手順における有効な選択後信頼区間の経験的構築が可能になった。