[論文レビュー] A comprehensive error rate for multiple testing

Djalel Eddine Meskaldji, Dimitri Van De Ville+2 more|arXiv (Cornell University)|Dec 19, 2011

Statistical Methods in Clinical Trials参考文献 17被引用数 9

ひとこと要約

本稿では、順序付けられたp値に任意の非減少閾値列を適用することにより、多重仮説検定における包括的な誤差率フレームワークを導入する。一般の従属構造下でも期待される偽発見率の制御が、再形状関数を用いることで達成可能であることが確立され、古典的手法（例：Benjamini-Hochberg）を一般化し、さまざまな従属仮定下でより厳密な制御を可能にする。

ABSTRACT

The higher criticism of a family of tests starts with the individual uncorrected p-values of each test. It then requires a procedure for deciding whether the collection of p-values indicates the presence of a real effect and if possible selects the ones that deserve closer scrutiny. This paper investigates procedures in which the ordered p-values are compared to an arbitrary positive and non-decreasing threshold sequence.

研究の動機と目的

• 多数の仮説を同時に検定する状況において、古典的手法が誤差率を制御する能力に限界があることに対処すること。
• 独立性の仮定を越えて、既存の誤差率制御（例：FDR、FWER）を一般化する柔軟なフレームワークを構築すること。
• 閾値列と再形状関数を用いて、ステップアップおよびステップダウン手順を統一的な理論的枠組みに統合すること。
• 正の従属や任意の従属を含む一般の従属構造下でも、保守的な誤差率制御を可能にすること。
• 標準的な閾値列の変換により、新たな誤差指標の導出とその制御を可能にすること。

提案手法

• 非減少の形状列 $ s_r $ と再形状関数 $ \xi $ を用いて、一般の閾値列 $ t_r = \xi(s_r)\alpha/m $ を提案する。
• 罰則付き偽超過率（pFER）を $ \mathbb{P}(\text{FP}/s_R > q) $ として定義し、FDRを一般化し、中央値に基づく誤差制御を可能にする。
• マーカフの不等式を用いて、独立性および正の従属下でpFERの保守的制御を導出する。
• 逆再形状関数 $ \xi^{-1}(r) $ を用いて、期待される偽発見率を $ \mathbb{E}[\text{FP}/\xi^{-1}(R)] \leq \alpha $ として表現する。
• Benjamini-Hochberg手順が $ \mathbb{E}[\text{FP}/(R \sum_{i=1}^m 1/i)] \leq \alpha $ を満たすことを示し、一般の従属構造下で $ \mathbb{E}[\text{FDP}] \leq \alpha \log m $ が成り立つことを示す。
• 大標本条件下で誤差率がFDRに収束することを示し、最適な棄却曲線（ORC）の漸近的制御を確立する。

実験結果

リサーチクエスチョン

• RQ1 任意の閾値列を用いることで、既存の多重仮説検定手順を統一的な理論的枠組みに統合することは可能か？
• RQ2 p値の異なる従属仮定下で、特定の閾値列がどの誤差率を制御するか？
• RQ3 再形状関数のアプローチを用いて、一般の従属構造下でも偽発見率を保守的に制御できるか？
• RQ4 閾値列の形状と得られる誤差率制御の関係は何か？
• RQ5 提案されたフレームワークは、仮説の仮定が変化する中で、Benjamini-Hochberg や Hochberg 手順をどのように一般化するか？

主な発見

• Benjamini-Hochberg 手順は、任意の従属構造下で $ \mathbb{E}[\text{FP}/(R \sum_{i=1}^m 1/i)] \leq \alpha $ を満たし、$ \mathbb{E}[\text{FDP}] \leq \alpha \log m $ を示す。
• q = 0.5 の場合、罰則付き偽超過率（pFER）はFDPの中央値に対応し、BH手順で $ \alpha/2 $ を用いることで中央値がレベル $ \alpha $ で制御される。
• Hochbergのステップアップ手順は、独立性および正の従属下で $ \mathbb{E}[\text{FP} \cdot (m-R+1)/m] \approx \mathbb{E}[\text{FP}] $ を制御する。
• 最適な棄却曲線（ORC）の閾値列 $ t_r = r\alpha / (m - r(1 - \alpha)) $ は、$ m \to \infty $ の下で漸近的にFDRを制御し、独立性および正の従属下で誤差率収束が示される。
• 一般の従属構造下では、$ t_r = \xi(s_r)\alpha/m $ を用い、$ \xi $ を再形状関数とすると、誤差率 $ \mathbb{E}[\text{FP}/\xi(q s_R)] \leq \alpha $ が制御される。
• フレームワークにより、閾値列と再形状関数の選択が直接的に制御される誤差率を決定することを明らかにし、新たな誤差指標の体系的導出とその制御を可能にする。