[論文レビュー] AdaPT: An interactive procedure for multiple testing with side information

Lihua Lei, William Fithian|arXiv (Cornell University)|Sep 20, 2016

Statistical Methods in Clinical Trials参考文献 41被引用数 12

ひとこと要約

AdaPT は、側面情報（予測子）を活用して最適な p 値の棄却閾値を段階的に推定する、インタラクティブで有限標本の誤り発見率（FDR）を制御する多重仮説検定手順である。柔軟なモデリングと打ち切り済みの p 値を用いて段階的に閾値推定を改善することで、Benjamini-Hochberg 法などの従来手法よりも高い統計的検出力が得られるとともに、ランダムネスを導入せずにきめ細やかな FDR 制御を実現する。

ABSTRACT

We consider the problem of multiple hypothesis testing with generic side information: for each hypothesis $H_i$ we observe both a p-value $p_i$ and some predictor $x_i$ encoding contextual information about the hypothesis. For large-scale problems, adaptively focusing power on the more promising hypotheses (those more likely to yield discoveries) can lead to much more powerful multiple testing procedures. We propose a general iterative framework for this problem, called the Adaptive p-value Thresholding (AdaPT) procedure, which adaptively estimates a Bayes-optimal p-value rejection threshold and controls the false discovery rate (FDR) in finite samples. At each iteration of the procedure, the analyst proposes a rejection threshold and observes partially censored p-values, estimates the false discovery proportion (FDP) below the threshold, and either stops to reject or proposes another threshold, until the estimated FDP is below $α$. Our procedure is adaptive in an unusually strong sense, permitting the analyst to use any statistical or machine learning method she chooses to estimate the optimal threshold, and to switch between different models at each iteration as information accrues. We demonstrate the favorable performance of AdaPT by comparing it to state-of-the-art methods in five real applications and two simulation studies.

研究の動機と目的

• 交換可能性に欠ける仮説や事前知識が利用可能な大規模な設定において、柔軟で強力な多重仮説検定手順の需要に対応すること。
• 選択的仮説検定における事前指定の選択アルゴリズムの限界を克服し、統計的妥当性の保証を伴うインタラクティブでデータに適応する分析を可能にすること。
• アナリストが任意の統計的または機械学習モデルを用いて、段階的に p 値の棄却閾値を改善できるフレームワークを構築すること。同時に、有限標本における FDR 制御を維持すること。
• 側面情報（予測子）を統合することで、より有望な仮説に検出力の集中を図り、実世界の応用における発見率を向上させること。
• グローバル FDR 制御に加え、個々の仮説に対するローカル FDR 評価を提供し、グローバル誤り率を超えた解釈可能な証拠要約を提供すること。

提案手法

• アナリストが各段階で p 値の閾値を選択し、データはその閾値以下の p 値（打ち切り済みデータ）のみを明らかにするという反復的フレームワークを提案する。
• 各反復において、観測された打ち切り済みの p 値と予測子を用いて、現在の閾値以下の偽発見割合（FDP）を柔軟なモデルで推定する。
• マーティングールドに基づくオプショナルストッピングの議論を用いて、アナリストが反復間でモデルを適応的に変更しても、有限標本における FDR 制御を保証する。
• アナリストが任意の統計的または機械学習手法を用いて最適な閾値を推定できることを許容し、反復間でモデルを切り替えることも可能とする。
• 各 p 値とそのミラー像（1 - p_i）の交換可能性を活用して、独立なノックオフ変数を導入せずに有効な統計的保証を構築する。
• グローバル FDR がレベル α で制御される棄却リストと、各棄却仮説に対する個別のローカル FDR 評価を返す。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブな多重仮説検定手順は、側面情報を活用することで、標準的な FDR 制御手法に比べて顕著に統計的検出力を向上させることができるか？
• RQ2 累積データに基づいてアナリストがモデルを更新するインタラクティブで適応的なフレームワークにおいて、有限標本における FDR 制御をどのように維持できるか？
• RQ3 柔軟でデータ駆動のモデルを用いた閾値推定が、実世界の多重仮説検定問題における発見率をどの程度向上させられるか？
• RQ4 AdaPT と Knockoff+ や Benjamini-Hochberg 手続きといった既存手法との間で、検出力と統計的保証の観点からどのような関係があるか？
• RQ5 AdaPT が導くローカル FDR 評価は、グローバル FDR 制御だけに比べてより情報量が多くなるか？また、どのような仮定のもとで信頼性があるとされるか？

主な発見

• AdaPT は、任意の適応的モデル更新に対しても、有限標本における FDR 制御を達成する。たとえアナリストが各反復で異なるモデルを使用しても同様である。
• 5 つの実世界応用および 2 つのシミュレーション研究において、AdaPT は、最先端の手法を常に上回る発見力（検出力）を示した。
• 側面情報が有用な場合、Benjamini-Hochberg 手続きが何も棄却しないのに対し、AdaPT は数百もの仮説を棄却するという顕著な発見率の向上を示した。
• AdaPT が生成するローカル FDR 評価は情報量が多く、ただし二群モデルや π₁(x) および f₁(p|x) の正確な仕様という強いモデリング仮定に依存している。
• Knockoff ベースの手法とは異なり、AdaPT は推論プロセスにランダムネスを導入しないため、決定的かつ十分統計量を尊重する手順である。
• 打ち切り済みの p 値とミラー像の性質（p_i と 1 - p_i）を活用することで、独立なノックオフ変数を必要とせず FDR 制御を実現でき、実装と解釈を簡素化する。