[论文解读] A framework for Multi-A(rmed)/B(andit) testing with online FDR control

Fanny Yang, Aaditya Ramdas+2 more|arXiv (Cornell University)|Jun 16, 2017

VLSI and Analog Circuit Testing被引用 12

一句话总结

本文提出了一种新颖的框架，将多臂赌博机（MAB）测试与在线错误发现率（FDR）控制相结合，以实现高效、持续监控的A/B测试，并具备严格的误差控制。通过使用始终有效的序列p值和自适应采样，该方法实现了低样本复杂度、高统计功效以及任意时间点的FDR控制，确保在连续实验中可靠发现更优选项，同时最小化假阳性结果。

ABSTRACT

We propose an alternative framework to existing setups for controlling false alarms when multiple A/B tests are run over time. This setup arises in many practical applications, e.g. when pharmaceutical companies test new treatment options against control pills for different diseases, or when internet companies test their default webpages versus various alternatives over time. Our framework proposes to replace a sequence of A/B tests by a sequence of best-arm MAB instances, which can be continuously monitored by the data scientist. When interleaving the MAB tests with an an online false discovery rate (FDR) algorithm, we can obtain the best of both worlds: low sample complexity and any time online FDR control. Our main contributions are: (i) to propose reasonable definitions of a null hypothesis for MAB instances; (ii) to demonstrate how one can derive an always-valid sequential p-value that allows continuous monitoring of each MAB test; and (iii) to show that using rejection thresholds of online-FDR algorithms as the confidence levels for the MAB algorithms results in both sample-optimality, high power and low FDR at any point in time. We run extensive simulations to verify our claims, and also report results on real data collected from the New Yorker Cartoon Caption contest.

研究动机与目标

• 解决传统A/B测试的局限性，包括均匀流量分配、缺乏持续监控的安全性保障，以及在连续实验中对错误发现率控制不足的问题。
• 开发一个统一框架，将通过MAB实现的自适应采样与在线FDR控制相结合，用于连续实验。
• 确保在持续实验过程中的任意时间点，均具备高统计功效和低错误发现率。
• 提供一种理论基础坚实的连续监控方法，避免增加第一类错误率。
• 在互联网A/B测试、临床试验和政策评估等场景中实现实际部署，这些场景对高效且可靠的发现能力具有关键需求。

提出的方法

• 提出一种元算法，将MAB实例按序排列，并对由此产生的发现应用在线FDR控制。
• 引入MAB实例的零假设的新定义，使在连续设置下能够进行有效的统计推断。
• 为每个MAB检验推导出始终有效的序列p值，从而实现在不增加第一类错误率的前提下持续监控。
• 将在线FDR算法的拒绝阈值用作MAB停止规则的置信水平，确保样本效率与FDR控制的双重保障。
• 采用LUCB风格的置信区间和LIL-based边界，构建在任意停止时间均有效的p值。
• 应用Benjamini-Yekutieli程序进行在线FDR控制，并将其适应到具有时变显著性水平的连续MAB情境中。

实验结果

研究问题

• RQ1 能否设计一种框架，将MAB的样本效率与在线FDR的误差控制相结合，用于连续A/B测试？
• RQ2 如何为MAB构建在任意停止时间均有效的p值，从而实现无负担的持续监控？
• RQ3 在何种条件下，将在线FDR阈值用作MAB中置信水平，可同时实现低FDR与高统计功效？
• RQ4 所提出的方法能否在连续实验中维持FDR控制，同时实现接近最优的样本复杂度？
• RQ5 在具有复杂非i.i.d.数据的真实场景中（如在线平台的用户行为），该框架表现如何？

主要发现

• 通过基于LIL的置信区间推导出的始终有效的p值，该框架在任意时间点均实现在线FDR控制，即使在持续监控下也成立。
• 该方法确保错误发现率在所有连续实验中均被控制在目标水平α以内，如定理1所证明。
• 通过将在线FDR阈值用作MAB停止规则的置信水平，该方法在保持高统计功效的同时最小化了样本复杂度。
• 在合成数据上的模拟结果表明，该方法在名义水平下有效控制FDR，同时相比均匀采样能更快检测出更优臂。
• 在《纽约客》漫画标题竞赛的真实数据实验中，该框架成功识别出高性能标题，且错误发现率较低。
• 理论分析表明，在较弱条件下，该方法实现了接近最优的样本复杂度和接近最优的发现率，且在原假设与备择假设场景下均保证了FDR控制。