[论文解读] Online control of the false discovery rate in biomedical research

David S. Robertson, James Wason|arXiv (Cornell University)|Sep 19, 2018

Statistical Methods in Clinical Trials参考文献 18被引用 8

一句话总结

本文比较了在顺序生物医学假设检验中，针对p值依赖性情境的在线错误发现率（FDR）控制程序，重点关注在p值存在依赖关系下的性能表现。提出了一种改进的LOND程序，引入了假设检验数量的上界，推荐LORD++和LOND用于实际应用，表明即使在中等依赖性条件下，也能实现稳健的FDR控制。

ABSTRACT

Modern biomedical research frequently involves testing multiple related hypotheses, while maintaining control over a suitable error rate. In many applications the false discovery rate (FDR), which is the expected proportion of false positives among the rejected hypotheses, has become the standard error criterion. Procedures that control the FDR, such as the well-known Benjamini-Hochberg procedure, assume that all p-values are available to be tested at a single time point. However, this ignores the sequential nature of many biomedical experiments, where a sequence of hypotheses is tested without having access to future p-values or even the number of hypotheses. Recently, the first procedures that control the FDR in this online manner have been proposed by Javanmard and Montanari (Ann. Stat. 2018), and built upon by Ramdas et al. (NIPS 2017, ICML 2018). In this paper, we compare and contrast these proposed procedures, with a particular focus on the setting where the p-values are dependent. We also propose a simple modification of the procedures for when there is an upper bound on the number of hypotheses to be tested. Using comprehensive simulation scenarios and case studies, we provide recommendations for which procedures to use in practice for online FDR control.

研究动机与目标

• 评估并比较现有在线FDR控制程序在生物医学数据中常见的p值依赖性现实条件下的表现。
• 解决当假设总数受限时在线FDR方法存在的空白，这是临床和基因组研究中的常见情形。
• 基于模拟和案例研究结果，为选择在线FDR程序提供实际建议。
• 探索在线FDR方法在违反p值独立性假设时的稳健性，这是现实应用中的关键关注点。
• 评估替代性错误度量（如错误发现超出率，FDX）在小样本或高度相关设定下的潜力。

提出的方法

• 比较四种关键的在线FDR程序：Javanmard和Montanari的广义alpha投资规则，Ramdas等人提出的LORD 2/3/++和SAFFRON。
• 通过引入假设检验数量的上界，对LOND程序进行改进，以提升有限样本条件下的性能。
• 在多种依赖结构（如等相关性、共用对照组相关性）下进行全面模拟，以评估FDR控制能力和检验功效。
• 使用真实生物医学数据集（包括小鼠表型数据和脑部影像数据）验证在实际场景中的性能表现。
• 在模拟中采用Storey估计量来估计非零假设的比例，以指导自适应程序的切换。
• 分析当所有假设均被拒绝时检验水准的极限行为，以指导参数选择（如b₀、λ、w₀）。

实验结果

研究问题

• RQ1 在基因组学和临床试验中常见的场景下，在线FDR程序在p值依赖性条件下的表现如何？
• RQ2 当假设总数受限时，能否对LOND程序进行改进，以提升统计功效和FDR控制能力？
• RQ3 在中等到强p值依赖性条件下，哪种在线FDR程序在FDR控制与统计功效之间实现了最佳平衡？
• RQ4 在有限样本条件下，初始财富（w₀）、奖励参数（b₀）或调优常数（λ）的选择如何影响程序性能？
• RQ5 在小样本或高度相关设定下，错误发现超出率（FDX）是否比FDR更合适的错误度量？

主要发现

• LORD++和LOND程序在中等p值依赖性条件下均表现出稳健的FDR控制，FDR的膨胀程度极低。
• 引入假设数量上界的改进型LOND程序在有限样本条件下提升了检验功效，同时保持了FDR控制。
• 所有测试程序（包括LORD 2/3/++和SAFFRON）均维持了良好的FDR控制，即使在检验统计量相关时亦然。
• 当预期大多数假设将被拒绝时，b₀和λ等参数的选择对性能有显著影响，表明在高发现率场景下存在敏感性。
• 所有程序的FDR均得到良好控制，即使在假设数量较少时亦然；但此时FDP可能与其期望值存在显著差异。
• 错误发现超出率（FDX）被识别为在小样本或高度相关设定下可能比FDR更具意义的度量指标，尽管需进一步研究以在在线设定中正式确立其应用。