[論文レビュー] Online control of the false discovery rate in biomedical research

David S. Robertson, James Wason|arXiv (Cornell University)|Sep 19, 2018

Statistical Methods in Clinical Trials参考文献 18被引用数 8

ひとこと要約

この論文は、従属するp値を伴う逐次的バイオメディカル仮説検定におけるオンラインの誤り発見率（FDR）制御手順を比較し、特にp値の依存性下での性能に注目する。上位の仮説数に上限を設けた修正版LOND手順を提案し、実用的用途にはLORD++とLONDの使用を推奨する。中程度の依存性下でもFDR制御が堅牢であることを示している。

ABSTRACT

Modern biomedical research frequently involves testing multiple related hypotheses, while maintaining control over a suitable error rate. In many applications the false discovery rate (FDR), which is the expected proportion of false positives among the rejected hypotheses, has become the standard error criterion. Procedures that control the FDR, such as the well-known Benjamini-Hochberg procedure, assume that all p-values are available to be tested at a single time point. However, this ignores the sequential nature of many biomedical experiments, where a sequence of hypotheses is tested without having access to future p-values or even the number of hypotheses. Recently, the first procedures that control the FDR in this online manner have been proposed by Javanmard and Montanari (Ann. Stat. 2018), and built upon by Ramdas et al. (NIPS 2017, ICML 2018). In this paper, we compare and contrast these proposed procedures, with a particular focus on the setting where the p-values are dependent. We also propose a simple modification of the procedures for when there is an upper bound on the number of hypotheses to be tested. Using comprehensive simulation scenarios and case studies, we provide recommendations for which procedures to use in practice for online FDR control.

研究の動機と目的

• バイオメディカルデータで一般的に見られるp値の依存性という現実的な状況下で、既存のオンラインFDR制御手順の評価と比較を行うこと。
• 臨床研究やゲノム研究で一般的な、仮説総数が上限を持つ状況において、オンラインFDR手法のギャップを埋めること。
• シミュレーションおよび事例研究の結果に基づき、オンラインFDR手順の選定に関する実用的勧告を提供すること。
• p値の独立性が破られる状況下でのオンラインFDR手法の堅牢性を検討すること。これは実世界の応用において重要な懸念事項である。
• 小標本または高相関設定下で、FDRの代替誤差指標（例えば、誤り発見超過（FDX））の可能性を検討すること。

提案手法

• JavanmardとMontanariの一般化されたアルファインベストメントルール、RamdasらのLORD 2/3/++およびSAFFRONの4つの主要なオンラインFDR手順を比較する。
• 仮説総数に上限を設けることで、有限標本設定下での性能を向上させるためにLOND手順を変更する。
• 等相関や共通コントロールグループの相関といったさまざまな依存構造を想定した包括的なシミュレーションを実施し、FDR制御と検出力の評価を行う。
• マウスの表型データや脳画像データを含む実世界のバイオメディカルデータセットを用いて、実用的状況下での性能を検証する。
• シミュレーションにおける適応的手順の切り替えを支援するために、非ノンブル仮説の割合を推定するストアイ推定法を適用する。
• すべての仮説が棄却された場合の有意水準の極限的挙動を分析し、パrameter（例：b₀, λ, w₀）の選定を支援する。

実験結果

リサーチクエスチョン

• RQ1 ゲノム研究や臨床試験で一般的な状況下で、オンラインFDR手順はp値の依存性下でどのように性能を発揮するか？
• RQ2 仮説総数が上限を持つ状況において、LOND手順をどのように変更すれば検出力とFDR制御の両方を向上させられるか？
• RQ3 中程度から強いp値の依存性下で、FDR制御と統計的検出力のバランスが最も優れたオンラインFDR手順はどれか？
• RQ4 初期財産（w₀）、報酬パラメータ（b₀）、またはチューニング定数（λ）の選択が、有限標本設定下での手順の性能にどのように影響するか？
• RQ5 小標本または高相関設定下では、FDRに代えて誤り発見超過（FDX）がより適切な誤差指標となる可能性はあるか？

主な発見

• LORD++およびLOND手順は、中程度のp値の依存性下でもFDR制御が堅牢であり、FDRの過大評価は最小限に抑えられる。
• 仮説総数に上限を設けた修正版LOND手順は、有限標本設定下で検出力を向上させつつFDR制御を維持する。
• LORD 2/3/++およびSAFFRONを含むすべてのテスト手順において、FDR制御が維持されている。これは、検定統計量が相関している場合でも同様である。
• ほとんどの仮説が棄却されると予想される状況下では、b₀やλの選択が性能に顕著な影響を及ぼすことが示され、高発見率状況下での感受性が明らかになった。
• すべての手順においてFDRが良好に制御されているが、仮説数が少ない場合にはFDP（誤り発見率）がその期待値から大きく逸脱する可能性がある。
• 誤り発見超過（FDX）は、小標本または高相関設定下でFDRよりもより意味のある指標である可能性が指摘されたが、オンライン設定下での正式な適用にはさらなる研究が必要である。