[論文レビュー] Bootstrap inference after using multiple queries for model selection

Jelena Markovic, Jonathan Taylor|arXiv (Cornell University)|Dec 22, 2016

Statistical Methods and Inference参考文献 23被引用数 12

ひとこと要約

本稿では、非パラメトリックな設定下で複数回のクエリ後のモデル選択後の推論に対して、ブートストラップに基づく推論手法を提案する。選択的中心極限定理と投影ラングヴィン・モンテカルロサンプリングを用い、広範な分布族にわたって一様に漸近的プルーフ・ブートストラップ統計量を確立する。LeebとPötscherの不可能性結果を克服し、データカービングや複数の視点を含む複雑な選択手順の後でも、有効な信頼区間と仮説検定を可能にする。

ABSTRACT

In this work, we provide a refinement of the selective CLT result of Tian and Taylor (2015), which allows for selective inference in non-parametric settings by adjusting for the asymptotic Gaussian limit for selection. Under some regularity assumptions on the density of the randomization, including heavier tails than Gaussian satisfied by e.g. logistic distribution, we prove the selective CLT holds without any assumptions on the underlying parameter, allowing for rare selection events. We also show a selective CLT result for Gaussian randomization, though the quantitative results are qualitatively different for the Gaussian randomization as compared to the heavier tailed results. Furthermore, we propose a bootstrap version of this test statistic, which is provably asymptotically pivotal uniformly across a family of non-parametric distributions. This result can be interpreted as resolving the impossibility results of Leeb and Potscher (2006). We describe several sampling methods involving the projected Langevin Monte Carlo to compute the bootstrapped test statistic and the corresponding confidence intervals valid after selection. The applications of our work include valid inferential and sampling tools after running various model selection algorithms including their combinations into multiple views/queries framework. We also present a way to do data carving, providing more powerful tests than classical data splitting by reusing the information in the data from the first stage.

研究の動機と目的

• 複数回のクエリを用いたモデル選択後の漸近的プルーフ・ブートストラップ推論を実現するブートストラップ手順の開発。
• 一般の確率密度関数（ラプラス、ロジスティック、正規など）を伴う非パラメトリックモデルに、選択的中心極限定理（CLT）を拡張すること。
• LeebとPötscher（2006a）の不可能性結果を克服し、希少な選択事象に対しても、選択後の一様に有効な推論を構築すること。
• データカービングを可能とし、複数回のクエリからの情報を再利用することで、古典的なデータ分割法よりも検出力の高い手法を実現すること。
• ブートストラップ統計量と信頼区間の計算に、投影ラングヴィン・モンテカルロを用いた実用的なサンプリングアルゴリズムの提供。

提案手法

• 複数回のクエリからの選択結果を条件とする選択的CLTフレームワークを用い、選択バイアスを選択的尤度比によって補正する。
• ラプラス、ロジスティック、正規などの密度関数を用いたランダム化機構を適用し、基礎となるパrameterに関する仮定なしに選択的CLTが成立することを保証する。
• 非パラメトリック分布族全体にわたって一様に漸近的プルーフとなるブートストラップ統計量を構築する。
• 最適化変数とランダム化パrameterに対して勾配に基づく更新を用い、選択的ブートストラップ分布からのサンプリングに投影ラングヴィン・モンテカルロを用いる。
• 選択的ブートストラップの対数密度に関する明示的な勾配式を導出し、ブートストラップ重みと補助変数上での効率的なMCMCサンプリングを可能にする。
• 2つのサンプリング方式を導入：1つは選択的ブートストラップ用、もう1つはワイルドブートストラップ用。両者とも再パrameter化されたランダム化写像とヤコビアン補正を用いる。

実験結果

リサーチクエスチョン

• RQ1 非ガウス分布や重い尾を持つ誤差分布下でも、複数回のモデル選択クエリ後の漸近的プルーフとなるブートストラップ手順を構築できるか？
• RQ2 基礎となるパrameterが有界であるか選択境界から離れているという仮定なしに、非パラメトリックモデル全体にわたって選択的CLTが一様に成立するか？
• RQ3 最初の段階でのモデル選択から得た情報を再利用できるように、データカービングをどのように実装すればよいか？これにより、古典的なデータ分割法よりも検出力を向上させられるか？
• RQ4 高次元かつ非i.i.d.な設定下で、選択的ブートストラップ分布を近似するのに有効なサンプリング手法は何か？
• RQ5 ランダム化選択とブートストラップ補正を用いることで、LeebとPötscher（2006a）の不可能性結果をpost-selection推論において回避できるか？

主な発見

• ランダム化密度関数に正則性条件が満たされれば、ガウス分布より重い尾を持つ分布（例：ロジスティック分布）に対しても、基礎となるパrameterに関する仮定なしに、希少な選択事象に対しても選択的CLTが成立する。
• 正規分布を用いたランダム化では、選択的CLTは依然として成立するが、ガウス分布とは異なった漸近的挙動を示す。
• 提案されたブートストラップ統計量は、広範な非パラメトリックモデル族全体にわたって一様に漸近的プルーフとなることが保証され、多様なデータ生成メカニズムに対しても有効な推論を可能にする。
• 勾配に基づく更新を用いた投影ラングヴィン・モンテカルロサンプリングにより、選択後のブートストラップ信頼区間と統計量の効率的計算が可能になる。
• 最初の段階での選択情報の再利用を可能とするデータカービングを支援し、古典的なデータ分割法に比べてより検出力の高い仮説検定が実現できる。
• 理論的および実用的結果を、複数の視点とグループLASSOの設定で示し、一般化線形モデル（GLMs）および非ガウス誤差に対して明示的なサンプリングアルゴリズムを提供した。