[論文レビュー] Online multiple hypothesis testing

D. S. Robertson, James Wason+1 more|arXiv (Cornell University)|Aug 24, 2022

Statistical Methods in Clinical Trials被引用数 1

ひとこと要約

本稿は、時間の経過とともに1件ずつ到着する仮説の逐次的で大規模な設定において、誤り発見率（FDR）を制御するオンライン多重仮説検定手法について包括的なレビューを提供している。LORD++、SAFFRON、ADDISといった適応的アルゴリズムを導入し、p値と過去の棄却意思決定に基づいて誤差予算を動的に割り当てることで、従来のオフライン手法に比べて統計的検出力が向上した強力なFDR制御を実現している。特にA/Bテストやゲノム研究の応用において顕著である。

ABSTRACT

Modern data analysis frequently involves large-scale hypothesis testing, which naturally gives rise to the problem of maintaining control of a suitable type I error rate, such as the false discovery rate (FDR). In many biomedical and technological applications, an additional complexity is that hypotheses are tested in an online manner, one-by-one over time. However, traditional procedures that control the FDR, such as the Benjamini-Hochberg procedure, assume that all p-values are available to be tested at a single time point. To address these challenges, a new field of methodology has developed over the past 15 years showing how to control error rates for online multiple hypothesis testing. In this framework, hypotheses arrive in a stream, and at each time point the analyst decides whether to reject the current hypothesis based both on the evidence against it, and on the previous rejection decisions. In this paper, we present a comprehensive exposition of the literature on online error rate control, with a review of key theory as well as a focus on applied examples. We also provide simulation results comparing different online testing algorithms and an up-to-date overview of the many methodological extensions that have been proposed.

研究の動機と目的

• 現代のデータ駆動型環境において、仮説が逐次的にテストされる状況で、従来のオフライン多重仮説検定手順に見られる限界を解消すること。
• ストリーミングデータ環境下でも第1種の誤り率を制御できる、オンラインFDR制御の統一的フレームワークを提供すること。
• 最近のオンライン検定アルゴリズムの性能を、FDR制御、統計的検出力、従属構造へのロバストネスの観点から評価・比較すること。
• A/Bテスト、ゲノム研究、臨床プラットフォーム試験における実用的応用を強調し、ソフトウェアと実装ガイドラインを通じて広範な採用を促進すること。

提案手法

• 誤差予算を過去の棄却とp値に基づいて更新する動的アルファ・ウェルス割り当てを用いたオンラインFDR制御を提案する。
• LORDアルゴリズムの拡張版としてのLORD++を導入し、単調な割り当てルールを用いることで、FDR制御を維持しつつ検出力を向上させた。
• SAFFRONおよびADDISアルゴリズムを採用し、閾値λおよびηを用いて有意水準を適応的に設定し、帰無仮説と対立仮説の信号を別々に処理する。
• 任意の時点で有効なp値を用いて、固定されたサンプルサイズや全テスト数の事前知識がなくても、逐次的検定を可能にする。
• 累積的な棄却数とp値の順位に依存する検定水準の式を適用し、任意の従属構造下でもFDR制御を保証する。
• 非ノンマルな仮説の割合や従属構造が変化するさまざまなシナリオにおける、広範なシミュレーションを通じて手法の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 仮説が逐次的に到着し、全件数が不明な状況下で、オンライン多重仮説検定においてFDRをどのように制御できるか？
• RQ2 オンラインとオフラインの検定フレームワークにおいて、統計的検出力とFDR制御のトレードオフはどのようなものか？
• RQ3 p値同士に従属がある状況と独立している状況とで、LORD++、SAFFRON、ADDISといったオンライン手法の性能はどのように異なるか？
• RQ4 オンライン手法は、大規模なテストにおいて、Benjamini-Hochberg手順と同等またはそれ以上の検出力を達成できるか？
• RQ5 A/Bテストやプラットフォーム試験のような実世界の応用において、オンライン検定を導入するにあたり、どのような実務的課題が生じるか？

主な発見

• LORD++、SAFFRON、ADDISは、すべてのシミュレーション設定（p値の従属ありを含む）において、名目水準α = 0.05のFDR制御を維持している。
• 提案されたオンライン手法は、非ノンマル仮説の割合π1が大きい大規模なテスト状況において、Benjamini-Hochberg手順に比べて高い統計的検出力を達成している。
• シミュレーション結果から、補正なしの検定ではFDR値がα = 0.05を著しく上回る一方、すべてのオンライン手法は許容可能な範囲内に保たれている。
• ADDISとSAFFRONは、過去の棄却情報とp値の閾値（ηおよびλ）を組み込むことで、従属構造に対して高いロバストネスを示している。
• 単調なAIアルゴリズムは、特にスパarsな信号が存在する状況で、FDR制御を維持しつつ高い検出力を示している。
• オンラインFDR Rパッケージにより、これらの手法の再現可能な実装が可能となり、ゲノム研究、A/Bテスト、臨床試験分野における広範な採用を支援している。