[論文レビュー] Sequential Selection Procedures and False Discovery Rate Control

Max G’Sell, Stefan Wager+2 more|arXiv (Cornell University)|Sep 20, 2013

Statistical Methods in Clinical Trials参考文献 39被引用数 12

ひとこと要約

本稿では、最初の連続する仮説ブロックのみを除外できる順序付き多重仮説検定設定において、誤り発見率（FDR）を制御する ForwardStop および StrongStop という2つの逐次的検定手順を紹介する。p値を単調統計量に変換し、Benjamini-Hochberg 手順を適用することにより、FDR 制御を保証するとともに、逐次的モデル選択における有効な推論を可能にする。TailStop は、帰無仮説の p 値における指数的減衰の性質を活用することで、パワーを向上させる。

ABSTRACT

We consider a multiple hypothesis testing setting where the hypotheses are ordered and one is only permitted to reject an initial contiguous block, H_1,\dots,H_k, of hypotheses. A rejection rule in this setting amounts to a procedure for choosing the stopping point k. This setting is inspired by the sequential nature of many model selection problems, where choosing a stopping point or a model is equivalent to rejecting all hypotheses up to that point and none thereafter. We propose two new testing procedures, and prove that they control the false discovery rate in the ordered testing setting. We also show how the methods can be applied to model selection using recent results on p-values in sequential model selection settings.

研究の動機と目的

• 仮説を固定順序で除外しなければならない逐次的モデル選択において、FDR 制御の欠如を是正すること。
• 最初の連続する仮説ブロックのみを除外できるという制約を尊重する検定手順の開発。
• 前向きステップワイズ法やlassoなどの回帰アルゴリズムにおけるモデル選択経路に対して、推論的保証を提供すること。
• 逐次的設定における既存の p 値手順を拡張し、有効な FDR 制御推論を可能にすること。
• 特定のモデル選択経路における帰無仮説 p 値の調和的減衰の性質を活用することで、TailStop が性能を向上させることの実証。

提案手法

• FDR 制御を可能にするために、元の p 値の系列を単調増加の統計量 $ q_1 \leq \cdots \leq q_m $ に変換する。
• 変換された単調統計量 $ q_i $ に対して、古典的な Benjamini-Hochberg 手順を適用し、順序付き検定フレームワークにおける FDR 制御を実現する。
• ForwardStop を、帰無仮説 p 値の挙動に関する最小限の仮定のもとで FDR 制御を維持する、分布に依存しないロバストな手法として提案する。
• StrongStop を、帰無仮説 p 値が確率的に有界である場合に FDR と家族ワイズ誤り率（FWER）の両方を制御する、より強力な変種として提案する。
• Orthogonal design における帰無仮説 p 値の $ \operatorname{Exp}(1/\ell) $ 減衰の性質を活用する StrongStop の変種として TailStop を開発する。
• Incremental null hypothesis $ H_k^{\text{inc}} $ の p 値を Lockhart 他 (2014) の共分散検定から算出し、それらを提案された停止ルールで処理する。

実験結果

リサーチクエスチョン

• RQ1 最初の連続する仮説ブロックのみを除外できる場合に、誤り発見率（FDR）を制御できるか。
• RQ2 古典的手法（例：Benjamini-Hochberg）を、順序付き検定設定に適応することで、逐次的除外制約に違反せずに FDR 制御を実現できるか。
• RQ3 p 値が単調統計量に変換された場合に、FDR 制御が保たれる理論的条件は何か。
• RQ4 帰無仮説 p 値の既知の分布的性質を活用することで、逐次的モデル選択における統計的パワーを向上させられるか。
• RQ5 FDR 制御とパワーの観点から、提案された手法（ForwardStop, StrongStop, TailStop）は、信号強度や設計条件の変動に対してどのように比較されるか。

主な発見

• ForwardStop は最小限の仮定のもとで FDR を制御し、帰無仮説 p 値の分布のずれに対してもロバストである。
• StrongStop は、帰無仮説 p 値が確率的に有界である場合に、FDR と家族ワイズ誤り率（FWER）の両方を制御し、より強い誤り制御を提供する。
• TailStop は、帰無仮説 p 値の $ \operatorname{Exp}(1/\ell) $ 減衰の性質を活用することで、他の手法と比べて顕著に高いパワーを達成する。特に中程度および困難なシミュレーション設定で顕著である。
• 中程度および困難な設定では、TailStop のみが目標 FDR 水準 $ \alpha $ に敏感に反応するが、他の手法は $ \alpha $ の変化に関わらずほぼゼロの観察 FDR を示す。
• 低 $ \alpha $ の状況下では、中程度の難易度設定において、TailStop は他の手法と比べてほぼ10倍の高いパワーを達成し、顕著な効率性の向上を示す。
• すべての手法がシミュレーションで名目水準での FDR 制御を達成しているが、信号強度が低い場合を除き、唯一 TailStop が全難易度レベルで高いパワーを維持している。