[论文解读] Controlling FDR while highlighting distinct discoveries

Eugene Katsevich, Chiara Sabatti+1 more|arXiv (Cornell University)|Sep 6, 2018

Gene expression and cancer classification被引用 2

一句话总结

Focused BH 是一种新方法，可在对多重检验结果应用预设过滤器时控制错误发现率（FDR），即使在假设具有结构化关系（例如 ICD、GO）的情况下也能保持统计有效性。它在 p 值正相关性和过滤器单调性条件下确保 FDR 控制，为减少冗余提供了有原则的解决方案，同时不损害推断保证。

ABSTRACT

Scientific hypotheses in a variety of applications have domain-specific structures, such as the tree structure of the International Classification of Diseases (ICD), the directed acyclic graph structure of the Gene Ontology (GO), or the spatial structure in genome-wide association studies. In the context of multiple testing, the resulting relationships among hypotheses can create redundancies among rejections that hinder interpretability. This leads to the practice of filtering rejection sets obtained from multiple testing procedures, which may in turn invalidate their inferential guarantees. We propose Focused BH, a simple, flexible, and principled methodology to adjust for the application of any pre-specified filter. We prove that Focused BH controls the false discovery rate under various conditions, including when the filter satisfies an intuitive monotonicity property and the p-values are positively dependent. We demonstrate in simulations that Focused BH performs well across a variety of settings, and illustrate this method's practical utility via analyses of real datasets based on ICD and GO.

研究动机与目标

• 为解决在假设具有领域特定结构（如树形或图结构）时多重检验的可解释性挑战。
• 解决通过过滤拒绝集以减少冗余与保持有效统计推断之间的冲突。
• 开发一种方法，在对多重检验结果应用任何预设过滤器后仍能保持 FDR 控制。
• 确保该方法在 p 值正相关性和过滤器直观单调性条件下依然有效。
• 提供一种灵活且有原则的框架，适用于生物医学分类和基因组学等多样化领域。

提出的方法

• Focused BH 通过根据假设的结构和应用的过滤器调整 p 值阈值，对 Benjamini-Hochberg 方法进行改进。
• 它引入一种与过滤器相关的调整，确保在过滤掉非独特或冗余发现后，FDR 仍能保持控制。
• 该方法依赖于过滤器的单调性特性，确保若一个假设被拒绝，则其在层次结构中的所有祖先也均被视为被拒绝。
• 它在 p 值子集上的正回归依赖性（PRDS）条件下证明了 FDR 控制，这是多重检验中的常见假设。
• 该方法对具体过滤器不敏感，可适用于任何预设规则——例如仅选择叶节点或层次结构中的特定分支。
• 该过程计算高效，同时在保持原始 BH 方法简洁性的同时增加了对结构的感知能力。

实验结果

研究问题

• RQ1 我们能否在不破坏 FDR 控制有效性的情况下，对多重检验的拒绝集进行过滤以提升可解释性？
• RQ2 在何种条件下，过滤后的拒绝集仍能保持有效的 FDR 控制？
• RQ3 当对假设应用具有领域结构的过滤器时，如何正式调整 FDR 阈值？
• RQ4 在 p 值之间存在正相关性（真实数据中常见的情况）时，该方法是否依然有效？
• RQ5 该方法是否可灵活应用于 ICD 和基因本体论等多样化结构化假设空间？

主要发现

• Focused BH 在 p 值正相关性和过滤器单调性条件下控制错误发现率，确保统计有效性。
• 即使在过滤掉冗余或非独特发现后，该方法仍能保持强大的 FDR 控制，从而提升可解释性。
• 模拟结果表明，Focused BH 在多种数据结构和过滤规则下表现良好。
• 在 ICD 和基因本体论的真实数据分析中，Focused BH 有效突出了独特且有意义的发现，同时保持了 FDR 控制。
• 该方法对各种过滤器类型具有鲁棒性，且无需对底层数据分布做任何假设。
• 该方法为通常破坏多重检验推断保证的临时性过滤提供了一种有原则的替代方案。