[论文解读] False Discovery Rate and Localizing Power

Anderson M. Winkler, Paul A. Taylor+2 more|arXiv (Cornell University)|Jan 7, 2024

Functional Brain Connectivity StudiesNeuroscience被引用 3

一句话总结

本文表明，在神经影像学中使用双侧检验时，标准的错误发现率（FDR）校正可能导致方向性错误率严重膨胀，这是由于在方向子集内对假发现的控制较弱所致。为解决此问题，作者提出在FDR校正前按方向（正/负检验统计量）对检验进行划分，从而在保持FDR控制和检验效能的同时实现有效的方向性推断，并倡导神经影像学软件采用非对称阈值以支持此方法。

ABSTRACT

False discovery rate (FDR) is commonly used for correction for multiple testing in neuroimaging studies. However, when using two-tailed tests, making directional inferences about the results can lead to a vastly inflated error rate, even approaching 100% in some cases. This happens because FDR controls the error rate only globally, over all tests, not within subsets, such as among those in only one or another direction. Here we consider and evaluate different strategies for FDR control in such cases, using both synthetic and real imaging data. Approaches that separate the tests by direction of the hypothesis test, or by the direction of the resulting test statistic, more properly control the directional error rate and preserve FDR benefits, albeit with a doubled risk of errors under complete absence of signal. Strategies that combine tests in both directions, or that use simple two-tailed p-values, can lead to invalid directional conclusions, even if these tests remain globally valid. A solution to this problem is through the use of selective inference, whereby positive and negative tails are treated as sets (families), which are screened locally, then subjected to FDR at a modified level that controls average FDR over those that survive the initial screening. Moreover, the BKY procedure can be used in place of the well-known Benjamini-Hochberg, yielding additional power. These methods are easy to implement. Finally, to enable valid thresholding for directional inference, we suggest that imaging software should allow the user to set asymmetrical thresholds for the two sides of the statistical map. While FDR continues to be a valid, powerful procedure for multiple testing correction, care is needed when making directional inferences for two-tailed tests, or more broadly, when making any localized inference.

研究动机与目标

• 调查在神经影像学中使用双侧检验时，标准FDR校正为何无法有效控制方向性错误率。
• 识别为何传统FDR程序尽管能控制全局FDR，却导致方向性推断无效。
• 提出并评估在保留FDR优势的同时，实现双侧检验后有效方向性结论的策略。
• 倡导神经影像学工具中支持非对称阈值，以实现正确可视化与推断。
• 比较BH与BY程序的效能与错误控制能力，并在实践中推广效能更高的BKY方法。

提出的方法

• 在FDR校正前，将双侧检验统计量按方向（正/负）进行划分，以实现方向性推断。
• 采用Benjamini-Yekutieli（BY）程序以在依赖性条件下实现稳健的FDR控制，同时采用效能更高的Benjamini-Krieger-Yekutieli（BKY）程序以提升检测敏感性。
• 利用合成数据与真实神经影像数据，评估不同策略下的错误率与统计效能。
• 实现并验证一种基于BKY程序的p值校正方法，该方法根据排序后的p值自适应调整阈值，采用可变斜率。
• 建议神经影像学软件支持对正负映射值分别设定用户自定义阈值，以实现非对称可视化。
• 评估信号不对称性对错误率与效能的影响，特别是在非对称效应分布下。

实验结果

研究问题

• RQ1 标准FDR校正配合双侧检验是否能有效控制方向性错误率？
• RQ2 当信号分布不对称时，在FDR校正后进行方向性推断会产生何种后果？
• RQ3 FDR程序能否被修改，以在保持全局FDR控制的同时，确保有效的方向性推断？
• RQ4 在依赖性条件下，BKY程序与BH和BY程序在效能与错误控制方面有何比较？
• RQ5 神经影像学软件需要做出哪些改变，才能在FDR校正后支持有效的方向性推断？

主要发现

• 即使全局FDR得到良好控制，双侧检验的FDR校正仍可能导致方向性错误率接近100%，这是由于控制较弱所致。
• 将检验按检验统计量方向（如正与负）分离的策略，能正确控制方向性假发现率，防止无效推断。
• BKY程序通过在阈值设定中引入可变斜率，相比BH程序具有更高的统计效能，但需要O(V²)的计算时间。
• 将两个方向的检验结果合并或使用简单的双侧p值，尽管能保持全局FDR的有效性，却会导致方向性结论无效。
• 在可视化软件中使用非对称阈值对于正确解读双侧检验后经FDR校正的映射图至关重要。
• 即使在依赖性条件下，BH与BKY程序仍能保持充分的错误控制，优于更为保守的BY程序。