[论文解读] False discovery rate control with e-values

Ruodu Wang, Aaditya Ramdas|arXiv (Cornell University)|Sep 6, 2020

Statistical Methods in Clinical Trials参考文献 33被引用 5

一句话总结

本文提出了 e-BH 方法，这是一种利用 e-值进行错误发现率（FDR）控制的新方法，可在任意依赖结构下保持 FDR 控制而无需校正。与标准的 Benjamini-Hochberg 方法不同，e-BH 方法在 e-值之间存在任意依赖关系时依然有效，并在具有复杂依赖、结构化假设和选择后推断的场景中展现出更高的统计功效。

ABSTRACT

E-values have gained attention as potential alternatives to p-values as measures of uncertainty, significance and evidence. In brief, e-values are realized by random variables with expectation at most one under the null; examples include betting scores, (point null) Bayes factors, likelihood ratios and stopped supermartingales. We design a natural analog of the Benjamini-Hochberg (BH) procedure for false discovery rate (FDR) control that utilizes e-values, called the e-BH procedure, and compare it with the standard procedure for p-values. One of our central results is that, unlike the usual BH procedure, the e-BH procedure controls the FDR at the desired level -- with no correction -- for any dependence structure between the e-values. We illustrate that the new procedure is convenient in various settings of complicated dependence, structured and post-selection hypotheses, and multi-armed bandit problems. Moreover, the BH procedure is a special case of the e-BH procedure through calibration between p-values and e-values. Overall, the e-BH procedure is a novel, powerful and general tool for multiple testing under dependence, that is complementary to the BH procedure, each being an appropriate choice in different applications.

研究动机与目标

• 开发一种稳健的多重检验 FDR 控制方法，利用 e-值而非 p-值。
• 解决标准 FDR 方法（如 BH）在 FDR 控制中需要独立性或正回归依赖性的局限性。
• 提供一种通用方法，在检验统计量之间存在任意依赖关系时仍能保持 FDR 控制。
• 证明在复杂依赖、结构化假设和选择后推断场景下，e-值相较于 p-值具有更高的统计功效。
• 通过校准实现 p-值与 e-值方法的统一，表明 BH 和 BY 是 e-BH 框架下的特例。

提出的方法

• 提出 e-BH 方法作为 Benjamini-Hochberg（BH）方法的类比，使用 e-值替代 p-值。
• 通过 e-值的顺序统计量定义 e-BH 方法：拒绝那些 e-值最大的假设，直至超过由临界值函数确定的阈值。
• 证明在 e-值之间任意依赖结构下，e-BH 方法可在无需校正的情况下控制 FDR 水平 α。
• 引入一种校准机制，将 p-值转换为 e-值，从而即使仅有 p-值可用，也能使用 e-BH 方法。
• 将方法扩展至加权 e-值，并在已知 e-值部分分布信息时支持增强（boosting）。
• 证明在任意 e-值依赖结构下，e-BH 方法在 e-检验方法类 G(φ) 中是最优的。

实验结果

研究问题

• RQ1 能否设计一种 FDR 控制方法，在使用 e-值时，即使检验统计量之间存在任意依赖关系，也能保持有效性？
• RQ2 在发现率和 FDR 控制方面，e-BH 方法相较于标准 BH 和 Benjamini-Yekutieli（BY）方法的性能如何？
• RQ3 在复杂依赖、结构化假设和选择后推断场景下，e-值能在多大程度上提升多重检验的统计功效？
• RQ4 e-BH 方法能否扩展至处理混合场景，即同一假设同时具有 e-值和 p-值？
• RQ5 在多元正态依赖结构下，使用 e-值相较于 p-值在 FDR 控制中是否具有理论优势？

主要发现

• 在 e-值之间任意依赖结构下，e-BH 方法可在无需校正的情况下，将错误发现率（FDR）控制在名义水平 α 以内。
• 在加密货币投资组合选择实验中，e-BH 方法在 27 个设置中的 25 个里选择了比 BY 方法更多的代币，显示出更高的统计功效。
• 对于 K=496 个代币，α=5% 时，e-BH 方法分别选中了 3 个（持有策略）、42 个（50% 再平衡）和 21 个（30% 再平衡），在所有情况下均优于 BY 方法，仅在一种情况下例外。
• 如定理 5 所示，e-BH 方法在任意 e-值依赖结构下，是 e-检验方法类 G(φ) 中的最优方法。
• 通过 p-值与 e-值之间的校准，e-BH 方法可统一包含 BH 和 BY 方法作为特例。
• 即使从 p-值校准而来，e-BH 方法在某些模拟场景中仍可优于 BY 方法，表明其在实际应用中具有潜在优势。