[論文レビュー] Sequential Tests of Multiple Hypotheses Controlling False Discovery and Nondiscovery Rates

Jay Bartroff, Jinlin Song|arXiv (Cornell University)|Nov 14, 2013

Statistical Methods in Clinical Trials参考文献 52被引用数 11

ひとこと要約

本稿では、最小限の仮定の下でストリーミングデータに対する複数の仮説検定を同時に行い、偽発見率（FDR）と偽非発見率（FNR）の両方を制御する、新しい手法「順次BH手順」を提案する。Benjamini-Hochbergの固定標本FDR手順を、逐次的検定統計量を用いて逐次的設定に拡張し、任意の依存構造下でも対数的インflation係数を伴って誤り制御を保証する。また、グループ逐次設計や打ち切り設計を含む柔軟なサンプリングスキームをサポートする。

ABSTRACT

We propose a general and flexible procedure for testing multiple hypotheses about sequential (or streaming) data that simultaneously controls both the false discovery rate (FDR) and false nondiscovery rate (FNR) under minimal assumptions about the data streams which may differ in distribution, dimension, and be dependent. All that is needed is a test statistic for each data stream that controls the conventional type I and II error probabilities, and no information or assumptions are required about the joint distribution of the statistics or data streams. The procedure can be used with sequential, group sequential, truncated, or other sampling schemes. The procedure is a natural extension of Benjamini and Hochberg's (1995) widely-used fixed sample size procedure to the domain of sequential data, with the added benefit of simultaneous FDR and FNR control that sequential sampling affords. We prove the procedure's error control and give some tips for implementation in commonly encountered testing situations.

研究の動機と目的

• 最小限の分布的仮定の下で、FDRとFNRの両方を制御する一般的かつ柔軟な逐次的多重仮説検定手順の開発。
• 古典的なBenjamini-Hochberg手順を、FDR制御を保ちつつFNR制御を追加する形で、逐次的データストリームに拡張すること。
• 連続的かつ非同一分布、または高次元のデータストリームにおいて、結合分布的仮定を必要とせずに適用可能であることを実現すること。
• 一般的な統計的状況における、部品となる逐次的検定および臨界値の構築に関する実用的実装指針を提供すること。
• シミュレーションを用いて手順の性能を評価し、固定標本の類似手法と比較すること。

提案手法

• ストリーミングデータに特化した、Benjamini-Hochbergのステップアップ手順の逐次的拡張である「順次BH手順」を提案する。
• 各データストリームごとに個別の検定統計量を用い、従来の第一種および第二種の誤り率を制御するが、結合分布的仮定は不要である。
• 拒絶（および任意で非拒絶）のための早期停止を含む逐次的サンプリングを採用し、動的意思決定を可能にする。
• Wald型近似および一般化尤度比統計量を用いて、逐次的検定の臨界値を導出する。
• FNR制御は保証しないがFDR制御を保つ「拒絶型バージョン」を実装し、FNR制御が優先されない状況で有用である。
• 再帰的バウンドとサンプル空間の分割を用いて、独立性下ではFDRおよびFNR制御を証明し、任意の依存構造下では対数的インフレーションを伴う。

実験結果

リサーチクエスチョン

• RQ1 データストリームに関する最小限の仮定の下で、逐次的多重仮説検定手順がFDRとFNRの両方を同時に制御可能か。
• RQ2 Benjamini-Hochberg手順は、FDR制御を保ちつつ、どのように逐次的またはストリーミングデータに適応可能か。
• RQ3 データストリーム間の依存性が、逐次的検定におけるFDRおよびFNR制御に与える影響は何か。
• RQ4 一般的な統計モデルにおいて、逐次的検定の臨界値を閉形式で導出する方法は何か。
• RQ5 誤り制御および検出力の観点から、固定標本の類似手法と比較して、この逐次的手順の性能はどのように異なるか。

主な発見

• 順次BH手順は、任意の依存構造下でも、対数的インフレーション係数を伴ってFDRを制御し、BenjaminiとHochbergの元々のFDR証明の条件を再現する。
• データストリームが独立である場合、手順はレベル $\alpha \cdot (K_0 / K)$ でFDRを制御する。ここで $K_0$ は真の帰無仮説の数、$K$ は仮説の総数である。
• 手順は偽非発見率（FNR）の制御も可能であり、対称的な証明構造により、逐次的設定下で両誤り率の同時制御が保証される。
• 拒絶型バージョンはFDRを制御するが、FNRを必ずしも制御しない。FNR制御が不要な状況でのトレードオフを提供する。
• シミュレーション研究により、手順は強力な誤り制御を維持し、固定標本の類似手法と比較して、逐次的設定下でより高い効率性を示す。
• 一般的な検定状況において、閉形式の臨界値が導出され、最小限の計算コストで実用的実装が可能である。