[論文レビュー] Power of Ordered Hypothesis Testing

Lihua Lei, William Fithian|arXiv (Cornell University)|Jun 6, 2016

Statistical Methods in Clinical Trials参考文献 15被引用数 12

ひとこと要約

この論文は、非ノンブル仮説の割合を段階的に推定することで、選択的SeqStepを改善した、適応的順序付き多重仮説検定手順であるAdaptive SeqStep (AS) を導入する。この手法は、多様な順序品質において高い統計的パワーを達成する。変動係数2群モデルの下で漸近的に最適であり、事前の順序付けが弱いか、ノンブル効果が疎で弱い場合には、累積検定（例：ForwardStop）を上回る性能を示す。

ABSTRACT

Ordered testing procedures are multiple testing procedures that exploit a pre-specified ordering of the null hypotheses, from most to least promising. We analyze and compare the power of several recent proposals using the asymptotic framework of Li & Barber (2015). While accumulation tests including ForwardStop can be quite powerful when the ordering is very informative, they are asymptotically powerless when the ordering is weaker. By contrast, Selective SeqStep, proposed by Barber & Candès (2015), is much less sensitive to the quality of the ordering. We compare the power of these procedures in different régimes, concluding that Selective SeqStep dominates accumulation tests if either the ordering is weak or non-null hypotheses are sparse or weak. Motivated by our asymptotic analysis, we derive an improved version of Selective SeqStep which we call Adaptive SeqStep, analogous to Storey's improvement on the Benjamini-Hochberg procedure. We compare these methods using the GEOQuery data set analyzed by Li & Barber (2015) and find Adaptive SeqStep has favorable performance for both good and bad prior orderings.

研究の動機と目的

• 事前の仮説順序付けを活用しつつ、順序付けが弱いか情報が乏しくても効果的な、より強力でロバストな多重仮説検定手順の開発。
• StoreyによるBenjamini-Hochbergの改良に類似した、非ノンブル割合の適応的推定を組み込んだ、Selective SeqStep手順の拡張。
• Adaptive SeqStepの漸近的パワーを分析し、変動係数2群モデル下での累積検定やSelective SeqStepといった既存手法と比較する。
• GEOQueryデータセットからの実データを用いて理論的知見を検証し、良好な順序付けと不良な順序付けの両方で性能のロバスト性を示す。

提案手法

• データ駆動のしきい値設定手法を用いて非ノンブル仮説の割合を段階的に推定する、新しい順序付き検定手順であるAdaptive SeqStep (AS) を提案する。
• p値の滑らか化された経験的分布関数を用いて非ノンブルの累積割合を推定し、固定しきい値法よりもFDR制御とパワーの両方を向上させる。
• 変動係数2群モデルに基づき、ASの漸近的FDR推定式を導出し、大標本下での正確なパワー分析を可能にする。
• リプシッツ連続性の議論を用いて、推定されたFDPが理論的対応物にほとんど確実に収束することを示し、漸近的FDR制御を保証する。
• 推定されたFDRが目標水準q未満のまま保たれる最大のkを特定するしきい値ルールを導入し、誤りを制御しながら発見数を最大化する。
• 2段階推定戦略を採用：まずプラグイン推定法により非ノンブル割合を推定し、次にその推定値を用いて棄却しきい値をキャリブレーションすることでパワーを向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前の順序付けが弱いか情報が乏しい場合、Adaptive SeqStepのパワーはSelective SeqStepや累積検定と比べてどの程度か？
• RQ2 変動係数2群モデル下でAdaptive SeqStepの漸近的パワーは何か？ また、ノンブル効果の強さとスパarsityにどのように依存するか？
• RQ3 非ノンブル割合の適応的推定は、固定しきい値法や非適応的手法と比較して、順序付き検定における発見パワーを顕著に向上させるか？
• RQ4 Adaptive SeqStepの性能は、事前の順序付けの質にどのように依存するか？ 特に順序付けが不良または誤解を招く場合にどうなるか？
• RQ5 有限標本設定下でも、特に実ジェノムデータ上でもAdaptive SeqStepの向上したパワーは維持されるか？

主な発見

• 推定されたFDRしきい値がノンブル領域の境界にあるとき、Adaptive SeqStepは $ F_1(s) $ の漸近的パワーを達成する。これは、有利な条件下での最適発見率を示している。
• FDRしきい値がノンブル領域の内部にある場合、Adaptive SeqStepの漸近的パワーは $ \frac{t^{*}_{AS} \Pi(t^{*}_{AS}) F_1(s)}{\Pi(1)} $ である。ここで $ t^{*}_{AS} $ はFDR制約に基づき決定される最適停止点である。
• 事前の順序付けが弱いか、ノンブル効果が疎で弱い場合には、Adaptive SeqStepはForwardStopのような累積検定を上回る。これは、不良な順序付けに対して強いロバストネスを有するためである。
• 事前の順序付けが非常に情報的である場合には、累積検定がStill ASを上回る可能性があるが、順序付けが弱くなるに従いその優位性は急速に消失する。
• 有限標本シミュレーションおよびGEOQueryの用量反応データセットにおける実データ解析により、Adaptive SeqStepが良好な順序付けと不良な順序付けの両方で高いパワーを維持することが確認された。
• 漸近的解析により、Adaptive SeqStepが一貫性を示し、推定されたFDPが理論的値にほとんど確実に収束することが確認され、信頼性の高いFDR制御が保証された。