[論文レビュー] Selective inference with a randomized response

Xiaoying Tian, Jonathan Taylor|arXiv (Cornell University)|Jul 24, 2015

Statistical Methods in Clinical Trials参考文献 26被引用数 23

ひとこと要約

本稿は、選択的推論のための確率的応答フレームワークを導入し、パワーを向上させるとともに、非パラメトリックな設定において弱収束を可能にする。微分プライバシーとサンプル分割にインspiredされたモデル選択への確率化を組み込むことで、選択的中心極限定理を確立し、一般の条件下でピボタル量が Uniform(0,1) に収束することを保証する。これにより、データに依存するモデル選択後の有効な推論が可能になる。

ABSTRACT

Inspired by sample splitting and the reusable holdout introduced in the field of differential privacy, we consider selective inference with a randomized response. We discuss two major advantages of using a randomized response for model selection. First, the selectively valid tests are more powerful after randomized selection. Second, it allows consistent estimation and weak convergence of selective inference procedures. Under independent sampling, we prove a selective (or privatized) central limit theorem that transfers procedures valid under asymptotic normality without selection to their corresponding selective counterparts. This allows selective inference in nonparametric settings. Finally, we propose a framework of inference after combining multiple randomized selection procedures. We focus on the classical asymptotic setting, leaving the interesting high-dimensional asymptotic questions for future work.

研究の動機と目的

• データに依存するモデル選択後の有効な統計的推論の課題に取り組む。古典的手法は選択バイアスのため失敗する。
• 正規分布でない、非パラメトリックな設定における選択的推論の制限を克服する。ここでは漸近的正規性が有効なp値を保証しない。
• モデル選択における確率的応答を導入し、推論を安定化させ、選択的手続きを弱収束させる。
• 一般の標本分布下で漸近的正規性の結果を選択的推論に移すことができる選択的中心極限定理を確立する。
• 複数の確率的選択手順を組み合わせるフレームワークを提供し、推論の頑健性と一貫性を向上させる。

提案手法

• 確率的モデル選択（たとえば確率的サンプル分割、検定統計量へのノイズの追加）を用い、選択イベントの安定性を高め、稀な出来事への感度を低下させる。
• 選択的分布を、確率的選択イベントを条件とする検定統計量の条件付き分布として定義し、帰無仮説下でピボタル量が一様分布に従うことを保証する。
• 指数型分布族と条件付き分布の構造を活用し、選択的尤度比とピボタル統計量を導出する。
• やや弱いモーメント条件の下で選択的中心極限定理を証明し、母集団分布が正規でない場合でもピボタル量が Uniform(0,1) に収束することを示す。
• Steinの方法とモーメントバウンドを用いて、正規近似の誤差を制御し、収束速度を $ n^{-1/2} $ のオーダーに保証する。
• 複数の確率的選択手順を組み合わせるフレームワークを拡張し、推論の有効性と一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 確率的モデル選択は、非パラメトリックな設定における選択的推論のパワーと有効性を向上させるか？
• RQ2 データが非正規であっても、一般の標本分布下で確率的選択から導かれるピボタル量が Uniform(0,1) に収束するか？
• RQ3 データに依存するモデル選択下で、漸近的正規性の結果を選択的推論に移すことができる選択的中心極限定理を確立できるか？
• RQ4 選択における確率化は、選択的推論手続きの弱収束性と一貫性にどのように影響するか？
• RQ5 複数の確率的選択手順を組み合わせて推論の頑健性を向上させる理論的基盤は何か？

主な発見

• 確率的選択は、特に非正規設定において、決定論的選択に比べてよりパワーの高い選択的検定をもたらす。
• 確率的選択イベントを条件とする条件付き分布から導かれるピボタル量 $ P(ar{X}_{n,obs}) $ は、やや弱いモーメント条件の下で分布収束して Uniform(0,1) に収束する。
• 選択的中心極限定理が確立された：独立標本およびモーメント条件の下で、ピボタル量の分布は Uniform(0,1) に収束し、非パラメトリックモデルにおける有効なp値と信頼区間の構築を可能にする。
• 近似誤差の収束速度は $ O(n^{-1/2}) $ であり、モーメントバウンドとSteinの方法により制御される。
• 母集団分布が非正規であっても、フレームワークは一貫した推定と選択的推論手続きの弱収束を保証する。
• この手法は、高次元または複雑な設定における推論の頑健性を向上させるために、複数の確率的選択手順の組み合わせに一般化可能である。