[论文解读] ADDIS: an adaptive discarding algorithm for online FDR control with conservative nulls

Jinjin Tian, Aaditya Ramdas|arXiv (Cornell University)|May 27, 2019

Statistical Methods in Clinical Trials参考文献 11被引用 9

一句话总结

本文提出 ADDIS，一种用于在线错误发现率（FDR）控制的自适应丢弃算法，在零假设p值保守（即通常在实际场景中出现的情况）时，既能保持可证明的FDR控制，又能显著提升统计功效。通过战略性地丢弃非显著p值并利用自适应阈值，ADDIS 在保守零假设下相较于现有方法（如 SAFFRON 和 LORD++）实现了更高的功效，同时在均匀零假设下不损失性能。

ABSTRACT

Major internet companies routinely perform tens of thousands of A/B tests each year. Such large-scale sequential experimentation has resulted in a recent spurt of new algorithms that can provably control the false discovery rate (FDR) in a fully online fashion. However, current state-of-the-art adaptive algorithms can suffer from a significant loss in power if null p-values are conservative (stochastically larger than the uniform distribution), a situation that occurs frequently in practice. In this work, we introduce a new adaptive discarding method called ADDIS that provably controls the FDR and achieves the best of both worlds: it enjoys appreciable power increase over all existing methods if nulls are conservative (the practical case), and rarely loses power if nulls are exactly uniformly distributed (the ideal case). We provide several practical insights on robust choices of tuning parameters, and extend the idea to asynchronous and offline settings as well.

研究动机与目标

• 为解决现有在线FDR控制方法在零假设p值保守（即 stochastically larger than uniform）时出现的功效损失问题，这是实际应用中常见的问题。
• 开发一种算法，在保证可证明的FDR控制的同时，相较于最先进方法，在保守零假设下实现更高的统计功效。
• 提供稳健的调参选择，确保在不同零分布下均表现稳定。
• 将该框架扩展至异步和离线设置，超越标准的在线设置。

提出的方法

• ADDIS 引入一种丢弃机制，将高于阈值 τ 的p值从后续考虑中排除，从而减少发现数量并节约FDR预算。
• 采用改进的 alpha-investing 框架，结合基于累积发现历史和财富累积机制的自适应阈值 αₜ。
• 该算法采用三级阈值策略，利用 λ ∈ [α, τ) 和 τ，根据历史拒绝和丢弃情况动态调整拒绝阈值。
• 利用均匀保守零假设的性质（CDF为凸函数），确保期望FDR被控制在 α 以内。
• 该方法使用一个非递增且可 summable 的序列 {γⱼ} 来加权历史发现，并通过递归财富更新规则控制FDR。
• 理论分析证明，在假设零假设为均匀保守的前提下，ADDIS 即使在p值并非完全均匀时，也能控制FDR。

实验结果

研究问题

• RQ1 能否设计一种在线FDR控制算法，在零假设p值保守时保持强FDR控制，同时实现更高的功效？
• RQ2 如何将非显著p值的丢弃机制整合进自适应FDR程序中，而不破坏FDR控制？
• RQ3 哪些稳健的调参选择（τ, λ）能确保在不同零分布下性能一致？
• RQ4 ADDIS 框架能否扩展至异步和离线测试场景？

主要发现

• 当零假设p值保守时，ADDIS 在模拟实验中对 SAFFRON 和 LORD++ 实现了显著的功效提升，多种设置下均观察到改进。
• 在零假设p值均匀分布的理想情况下，ADDIS 与现有方法相比极少损失功效，保持接近最优的表现。
• 理论分析证明，在假设零假设为均匀保守的前提下，ADDIS 可在 α 水平上可证明地控制FDR，即使真实零分布并非完全均匀。
• 对 g∘F 的热力图分析显示，在不同参数设置（μₙ, μₐ, πₐ）下行为一致，表明对模型误设具有鲁棒性。
• 理论分析确认，由于保守p值的单调性和凸性，丢弃机制不会损害FDR控制。