[论文解读] Data-Driven Switchback Experiments: Theoretical Tradeoffs and Empirical Bayes Designs

Ruoxuan Xiong, Alex Chin+1 more|arXiv (Cornell University)|Jun 10, 2024

Advanced Statistical Process MonitoringDecision Sciences被引用 3

一句话总结

本文提出了一种针对单一聚合单元的开关实验的经验贝叶斯设计，考虑了延续效应、周期性、序列相关性以及同时干预的影响。通过利用历史实验数据来优化区间长度和切换模式，该方法在真实网约车平台案例研究中，相较于现状设计将均方误差（MSE）降低了33%。

ABSTRACT

We study the design and analysis of switchback experiments conducted on a single aggregate unit. The design problem is to partition the continuous time space into intervals and switch treatments between intervals, in order to minimize the estimation error of the treatment effect. We show that the estimation error depends on four factors: carryover effects, periodicity, serially correlated outcomes, and impacts from simultaneous experiments. We derive a rigorous bias-variance decomposition and show the tradeoffs of the estimation error from these factors. The decomposition provides three new insights in choosing a design: First, balancing the periodicity between treated and control intervals reduces the variance; second, switching less frequently reduces the bias from carryover effects while increasing the variance from correlated outcomes, and vice versa; third, randomizing interval start and end points reduces both bias and variance from simultaneous experiments. Combining these insights, we propose a new empirical Bayes design approach. This approach uses prior data and experiments for designing future experiments. We illustrate this approach using real data from a ride-sharing platform, yielding a design that reduces MSE by 33% compared to the status quo design used on the platform.

研究动机与目标

• 解决在单一聚合单元上设计基于时间的开关实验时，因多种时间因素导致的处理效应混淆问题。
• 识别并建模四种关键的估计误差来源：延续效应、周期性、序列相关结果以及同时干预。
• 开发一种数据驱动的设计框架，通过在这些因素之间平衡偏差-方差权衡来提高估计精度。
• 通过在真实网约车平台数据上的实证应用，展示该方法的实际价值。
• 为偏差-方差分解提供理论基础，以指导最优区间划分和切换频率的选择。

提出的方法

• 推导全局平均处理效应（GATE）估计误差的严格偏差-方差分解，分离出四个因素的贡献：延续效应、周期性、序列相关性和同时干预。
• 提出一种新颖的经验贝叶斯设计，利用历史实验数据来指导未来实验中区间长度和切换模式的选择。
• 引入累积效应曲线（CEC）和结果相关性的先验分布，以估计最优切换时间表。
• 采用加权最小二乘估计框架，通过平衡延续效应带来的偏差与相关结果带来的方差，最小化均方误差（MSE）。
• 引入区间起止点的随机化，以减少因同时实验导致的偏差和方差。
• 将该方法应用于真实网约车平台的数据，利用历史处理效应估计值和结果动态特性来校准设计。

实验结果

研究问题

• RQ1 延续效应、周期性、序列相关性和同时干预如何共同影响开关实验中GATE估计的偏差和方差？
• RQ2 在基于时间的开关实验设计中，切换频率（影响由延续效应引起的偏差和由相关性引起的方差）的最优权衡是什么？
• RQ3 如何利用历史实验数据，在数据驱动的经验贝叶斯框架下改进未来开关实验的设计？
• RQ4 在存在同时干预的情况下，随机化区间边界的程度在多大程度上能减少偏差和方差？
• RQ5 与现实平台中使用的标准现状设计相比，应用所提出的设计在估计精度上能带来多大的实证提升？

主要发现

• 所提出的经验证据贝叶斯设计相较于网约车平台当前使用的现状设计，将GATE估计的均方误差（MSE）降低了33%。
• 在处理组和对照组区间之间保持周期性对称性可降低方差，凸显了时间对称性在实验设计中的重要性。
• 减少切换频率可降低由延续效应引起的偏差，但会增加由序列相关结果引起的方差，反之亦然，证实了明确的偏差-方差权衡关系。
• 随机化区间的起始和结束点可同时降低由同时实验引起的偏差和方差，提供了一项实用的设计改进。
• 理论上的偏差-方差分解表明，同时干预对估计误差有显著贡献，其影响可通过战略性地设计区间来缓解。
• 该方法有效利用历史数据来校准区间长度和切换模式，在真实平台数据上表现出强劲的实证性能。