[論文レビュー] Post hoc inference via joint family-wise error rate control

Gilles Blanchard, Pierre Neuvial+1 more|arXiv (Cornell University)|Mar 7, 2017

Statistical Methods in Clinical Trials参考文献 32被引用数 4

ひとこと要約

本稿は、データスヌーピングの後でも、任意のデータ駆動型で選択された仮説集合に対して有効な統計的保証を提供する、ユーザーに依存しない後処理推論フレームワークを導入する。このフレームワークは、結合的家族誤差率（JER）を制御することで、すべての可能な棄却集合に対して一様な第一種誤り制御を実現する。段階的降下手順と依存性に配慮したキャリブレーションを活用することで、任意の選択ルールにかかわらず、すべての可能な棄却集合に対して一様な第一種誤り制御を保証する。これは、高い臨界値と閉じた検定アプローチを統一的なJER制御フレームワークの下で一般化する。

ABSTRACT

We introduce a general methodology for post hoc inference in a large-scale multiple testing framework. The approach is called "user-agnostic" in the sense that the statistical guarantee on the number of correct rejections holds for any set of candidate items selected by the user (after having seen the data). This task is investigated by defining a suitable criterion, named the joint-family-wise-error rate (JER for short). We propose several procedures for controlling the JER, with a special focus on incorporating dependencies while adapting to the unknown quantity of signal (via a step-down approach). We show that our proposed setting incorporates as particular cases a version of the higher criticism as well as the closed testing based approach of Goeman and Solari (2011). Our theoretical statements are supported by numerical experiments.

研究の動機と目的

• 大規模な多重仮説検定における選択後推論の問題に取り組む。標準的手法は選択バイアスのため失敗する。
• 選択ルールにかかわらず、任意のユーザーが選択した仮説集合における誤り仮説の数に統計的保証を提供する。
• 未知の信号サイズに適応し、検定統計量の間の依存性を考慮する手法を開発する。
• 高い臨界値と閉じた検定の既存手法を、結合的家族誤差率（JER）制御に基づく統一的フレームワークに統合する。
• すべての可能な選択集合 R に対して一様な妥当性を保証し、任意のデータスヌーピングに対して頑健な推論を実現する。

提案手法

• 結合的家族誤差率（JER）を、任意の選択集合 R における誤り仮説数が境界 V(R) を超える確率を制御する基準として導入する。
• 順序統計量の分布に基づいて、棄却閾値を動的にキャリブレートする段階的降下手順を提案する。
• 交換可能な順列を用いたリサンプリングベースのキャリブレーション法を採用し、JER をレベル α で制御する有効なデータ依存境界 λ(α,X,H₀) を構築する。
• 帰無仮説集合 H₀ に条件付け、順列不変性を用いて検定統計量の依存性を扱い、有効な p 値比較を導出する。
• 境界 V(R) を基準となる閾値の族と p 値の順序統計量から導出するテンプレートベースのフレームワークを採用する。
• Simes 不等式と順列対称性を用いて、任意の選択ルールに対して有効な保守的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 任意のデータ駆動型選択集合 R に対して、選択ルールに依存しない有効な誤り制御を実現する後処理推論手順を構築できるか？
• RQ2 独立性を仮定しない状況で、検定統計量の依存性を後処理推論に組み込む方法は何か？
• RQ3 提案手法が、高い臨界値と閉じた検定といった既存手法を、統一的な JER 制御フレームワークの下に統合できるか？
• RQ4 すべての可能な棄却集合に対して一様な第一種誤り制御を保証する最小限のキャリブレーション手順は何か？
• RQ5 段階的降下手順は、未知の真の帰無仮説数に適応しつつ、強力な誤り制御を維持できるか？

主な発見

• 提案手法は、すべての可能な選択集合 R に対して、結合的家族誤差率（JER）の一様な制御を達成し、P(∀R ⊆ {1,…,m}: |H₀ ∩ R| ≤ V(R)) ≥ 1−α を満たす。
• JER 制御フレームワークは、高い臨界値アプローチと Goeman と Solari (2011) の閉じた検定手順を一般化し、それらを特別なケースとして含む。
• 段階的降下手順は、帰無仮説集合からの p 値の順序統計量を用いることで、真の帰無仮説数が未知の状況に適応し、スパース信号設定での検出力向上を実現する。
• リサンプリングベースのキャリブレーション法により、置換された検定統計量の交換性を活用し、任意の依存構造下でも有効性が保証される。
• 数値実験により、手法の有効性が確認され、複雑な選択ルールを伴う高次元設定における実用的有用性が示された。
• 選択ルールが任意または適応的であっても、手法は有効であるため、探索的データ解析に適している。