[论文解读] A/B/n Testing with Control in the Presence of Subpopulations

Yoan Russac, Christina Katsimerou+4 more|arXiv (Cornell University)|Oct 29, 2021

Statistical Methods in Clinical Trials被引用 4

一句话总结

本文提出了一种渐近最优的顺序A/B/n测试策略，用于在存在子群体的情况下识别所有优于对照组的臂，基于子群体信息进行自适应采样。该方法通过根据不确定性动态分配样本，实现最优样本复杂度，具有停止时间与错误率的理论保证，并在三种交互模式下表现有效：主动、被动和无视子群体采样。

ABSTRACT

Motivated by A/B/n testing applications, we consider a finite set of distributions (called \emph{arms}), one of which is treated as a \emph{control}. We assume that the population is stratified into homogeneous subpopulations. At every time step, a subpopulation is sampled and an arm is chosen: the resulting observation is an independent draw from the arm conditioned on the subpopulation. The quality of each arm is assessed through a weighted combination of its subpopulation means. We propose a strategy for sequentially choosing one arm per time step so as to discover as fast as possible which arms, if any, have higher weighted expectation than the control. This strategy is shown to be asymptotically optimal in the following sense: if $τ_δ$ is the first time when the strategy ensures that it is able to output the correct answer with probability at least $1-δ$, then $\mathbb{E}[τ_δ]$ grows linearly with $\log(1/δ)$ at the exact optimal rate. This rate is identified in the paper in three different settings: (1) when the experimenter does not observe the subpopulation information, (2) when the subpopulation of each sample is observed but not chosen, and (3) when the experimenter can select the subpopulation from which each response is sampled. We illustrate the efficiency of the proposed strategy with numerical simulations on synthetic and real data collected from an A/B/n experiment.

研究动机与目标

• 开发一种顺序测试策略，以高效识别在子群体存在下所有优于对照组的臂。
• 通过基于子群体结构自适应调整样本分配，解决A/B/n测试中均匀采样的低效问题。
• 在不同子群体可观测性和控制水平下，提供样本复杂度与错误概率的理论保证。
• 实现任意时间决策并进行校准的风险评估，支持实际部署中的早期停止。
• 评估子群体交互模式（主动、比例、无知和无视）对决策速度与准确率的影响。

提出的方法

• 提出一种适用于ABC-S（子群体中优于对照组的臂）的Track-and-Stop框架，采用顺序采样与停止规则。
• 引入加权期望准则，根据子群体频率与重要性组合其均值。
• 采用基于置信区间的采样规则，优先选择相对于对照组不确定性最高的臂，以最小化期望样本复杂度。
• 设计一种顺序更新的风险评估机制，确保错误推荐概率被报告的风险值所限制。
• 考虑三种交互模式：(1) 主动（学习者选择子群体），(2) 被动（子群体被观察但未被选择），(3) 无视（无子群体访问）。
• 通过证明期望停止时间E[τδ]在所有三种模式下均以最优速率线性增长于log(1/δ)，实现渐近最优性。

实验结果

研究问题

• RQ1 当存在子群体时，顺序采样策略是否能在识别所有优于对照组的臂方面实现渐近最优？
• RQ2 能够选择或观察子群体的能力如何影响识别优势臂的样本复杂度？
• RQ3 能否在整个实验过程中维持风险评估，以实现具有保证错误控制的任意时间停止？
• RQ4 在不同子群体交互模式下，固定置信度设置中的理论样本复杂度速率是多少？
• RQ5 在存在子群体的真实与合成A/B/n实验中，自适应采样策略与均匀采样相比表现如何？

主要发现

• 所提策略实现了渐近最优性，E[τδ]在所有三种交互模式下均以最优速率log(1/δ)增长。
• 主动采样（学习者选择子群体）相比被动或无视模式显著缩短了决策时间。
• 在具有季节性子群体的真实世界数据集中，自适应采样相比均匀采样降低了样本复杂度，其中主动模式终止最快。
• 风险评估机制正确地界定了错误推荐的概率，即使在正确情况下，均匀采样也表现出较高的风险评估值（0.67）。
• 比例模式与无知模式表现相似，但推荐比例模式，因其平均性能从不劣化。
• 即使子群体存在时间依赖性（如季节循环），只要循环频繁被观测，该方法仍保持有效性。