[论文解读] Dynamic Algorithms for Online Multiple Testing

Ziyu Xu, Aaditya Ramdas|arXiv (Cornell University)|Oct 26, 2020

VLSI and Analog Circuit Testing参考文献 15被引用 7

一句话总结

该论文提出SupLORD，一种动态在线多重假设检验算法，可显著提升统计功效，同时控制假发现超额率（FDX）。通过实现基于财富的自适应阈值调整，SupLORD在停止时间点实现可证明的FDR控制——这是首个实现此目标的非平凡算法——同时支持FDR、FDX和SupFDR的联合控制。

ABSTRACT

We derive new algorithms for online multiple testing that provably control false discovery exceedance (FDX) while achieving orders of magnitude more power than previous methods. This statistical advance is enabled by the development of new algorithmic ideas: earlier algorithms are more "static" while our new ones allow for the dynamical adjustment of testing levels based on the amount of wealth the algorithm has accumulated. We demonstrate that our algorithms achieve higher power in a variety of synthetic experiments. We also prove that SupLORD can provide error control for both FDR and FDX, and controls FDR at stopping times. Stopping times are particularly important as they permit the experimenter to end the experiment arbitrarily early while maintaining desired control of the FDR. SupLORD is the first non-trivial algorithm, to our knowledge, that can control FDR at stopping times in the online setting.

研究动机与目标

• 通过引入FDX控制来解决在线多重假设检验中缺乏概率误差控制的问题，FDX控制可限制假发现比例尾部概率。
• 克服静态alpha投资算法无法根据序列检验过程中累积的统计‘财富’自适应调整的局限性。
• 提出一种动态调度框架，通过基于历史表现和剩余alpha预算调整检验水平，提升统计功效。
• 首次在在线设置中实现停止时间点的可证明FDR控制，支持在不牺牲误差保证的前提下提前终止。
• 证明SupLORD可同时控制FDX、FDR和SupFDR，为序列假设检验提供统一且稳健的误差控制框架。

提出的方法

• 提出广义alpha投资（GAI）框架，采用动态调度机制，使算法能根据先前拒绝结果累积的财富调整显著性水平。
• 将SupLORD算法作为动态GAI的具体实现，利用从FDX控制与功效最大化之间权衡中导出的增强序列。
• 制定基于财富的alpha支出规则，动态分配显著性水平，当先前检验不显著时提高功效，当发现显著结果时则节约alpha。
• 利用时间一致的集中不等式推导出FDP的严格非渐近界，从而实现高概率的FDX控制。
• 通过证明在任意停止规则下期望FDP保持有界，证明SupLORD在停止时间点控制FDR。
• 将SupFDR控制整合至SupLORD中，当FDP预期较低时提供更紧密的误差控制，增强在不同数据场景下的鲁棒性。

实验结果

研究问题

• RQ1 基于累积财富动态调整检验水平，是否能在保持FDX控制的同时提升在线多重假设检验的统计功效？
• RQ2 在在线多重假设检验设置中，是否可能在停止时间点实现FDR控制，其中决策不可逆且待检验假设数量事先未知？
• RQ3 在不同数据分布下，动态调度与静态alpha投资规则在功效和误差控制方面相比如何？
• RQ4 能否通过单一算法同时控制FDX、FDR和SupFDR？参数调优中存在何种权衡？
• RQ5 在动态调度中，设置参数η和ρ的最优策略是什么，以在保持误差控制的同时最大化统计功效？

主要发现

• 在合成实验中，SupLORD相比以往FDX控制算法实现了数量级更高的统计功效，展现出显著的实证优势。
• SupLORD是首个在在线设置中可证明在停止时间点控制FDR的算法，支持在不损失误差控制的前提下实现提前终止。
• 动态调度框架缩小了理论alpha预算与实际使用之间的差距，相比静态规则，实现了更高效、更强大的检验。
• SupLORD可同时控制FDX、FDR和SupFDR，为序列假设检验中的多种误差度量提供统一解决方案。
• 数值模拟表明，即使在重尾p值分布和隐马尔可夫模型下，SupLORD仍能保持强大的FDX控制，表明其对依赖结构具有鲁棒性。
• 该算法在真实数据上的性能得到验证，确认其在生物医学和A/B测试等序列决策至关重要的实际应用中的实用价值。