[論文レビュー] The Power of Batching in Multiple Hypothesis Testing

Tijana Zrnic, Daniel Jiang+2 more|arXiv (Cornell University)|Oct 11, 2019

Statistical Methods in Clinical Trials参考文献 21被引用数 4

ひとこと要約

本稿では、複数のバッチにわたる逐次的・適応的仮説検定を可能にしつつ、形式的なFDR制御を維持する、新しいFDR制御アルゴリズムBatch_BHおよびBatch_St-BHを提案する。Benjamini-HochbergおよびStorey-BH手順をバッチフレームワーク内で再適用することにより、オンライン手法よりも高い統計的パワーを達成し、単純なバッチ処理よりも強いFDR保証を得る。これにより、オフラインとオンラインの多重仮説検定手法の間の溝を埋める。

ABSTRACT

One important partition of algorithms for controlling the false discovery rate (FDR) in multiple testing is into offline and online algorithms. The first generally achieve significantly higher power of discovery, while the latter allow making decisions sequentially as well as adaptively formulating hypotheses based on past observations. Using existing methodology, it is unclear how one could trade off the benefits of these two broad families of algorithms, all the while preserving their formal FDR guarantees. To this end, we introduce $ ext{Batch}_{ ext{BH}}$ and $ ext{Batch}_{ ext{St-BH}}$, algorithms for controlling the FDR when a possibly infinite sequence of batches of hypotheses is tested by repeated application of one of the most widely used offline algorithms, the Benjamini-Hochberg (BH) method or Storey's improvement of the BH method. We show that our algorithms interpolate between existing online and offline methodology, thus trading off the best of both worlds.

研究の動機と目的

• オフラインFDR手法の高い統計的パワーとオンラインFDR手法の適応性の間のトレードオフを解消すること。
• 無限に続く仮説バッチのシーケンスをオンラインでテストする際の誤り発見率（FDR）を制御するフレームワークを構築すること。
• それ以外の状況ではFDRが制御不能になる可能性があるため、繰り返しオフラインFDR手順（例：BHおよびStorey-BH）をバッチに適用しても、形式的なFDR制御を維持すること。
• 過去の結果に基づく適応的仮説生成を可能にしつつ、全シーケンスおよび個々のバッチの両方でFDR制御を維持すること。
• オフライン手法の安定性とオンライン手法の逐次的意思決定能力を併せ持つ手法を提供すること。

提案手法

• 複数のバッチにわたるBenjamini-HochbergおよびStorey-BH手順の逐次的合成として、Batch_BHおよびBatch_St-BHを提案する。
• 各バッチに対してBHおよびStorey-BH手順を独立して適用し、全体のFDR制御を維持するために、バッチごとに段階的に小さくなる有意水準を使用する。
• 一般条件のもとでFDR制御を保証するために、p値系列に対して保守的な依存性仮定を用いる。
• 条件付き期待値および塔の性質を用いて理論的FDRバウンドを導出し、FDRが名目水準αのmax{1, δ}倍の要因まで制御されることを示す。
• 帰無仮説が棄却された場合とされない場合の期待発見数の不均衡を補正するため、補正項ε_iを導入する。
• 正の依存性を持つp値を扱うために、調整された有意水準を用いた修正されたバッチ処理手順を導入する。

実験結果

リサーチクエスチョン

• RQ1 オフラインFDR手順の高いパワーとオンライン手順の適応性を組み合わせた、逐次的仮説検定における手法を設計することは可能か？
• RQ2 BHやStorey-BHのようなオフラインFDRアルゴリズムを繰り返しバッチに適用しても、FDR制御の保証が破られないか？
• RQ3 全テストシーケンスだけでなく、個々のバッチやサブグループに対してもFDR制御を保証することは可能か？
• RQ4 オンライン設定でオフラインアルゴリズムを再利用するバッチ処理手順のFDRに対して、どのような理論的バウンズを確立できるか？
• RQ5 提案手法の性能は、完全にオンラインまたは完全にオフラインなFDR手法と比較して、統計的パワーとFDR制御の観点でどのように異なるか？

主な発見

• Batch_BHおよびBatch_St-BHは、単純なオフライン手法の逐次的適用とは異なり、全テストシーケンスおよび個々のバッチの両方で形式的なFDR制御を達成する。
• 提案手法のFDRは、δが帰無仮説が棄却された場合の期待発見数とされない場合の比の上界であることを考慮して、max{1, δ} × αで抑えられる。
• これらの手法は、仮説の順序に依存しないため、オンライン手法とは異なり、オフライン手順の安定性を引き継いでいる。
• 合成データを用いた実験結果から、Batch_BHおよびBatch_St-BHは、最先端のオンラインFDR手法よりも高い統計的パワーを達成し、FDR制御を維持していることが示された。
• このフレームワークにより、過去の結果に基づく適応的仮説生成が可能となり、産業分野における大規模で逐次的なテスト（例：A/Bテスト）への応用が可能になる。
• これらのアルゴリズムは、onlineFDR Rパッケージに統合されており、実用的で採用が進んでいることが示された。