[论文解读] Switchback Experiments under Geometric Mixing

Yu‐Chen Hu, Stefan Wager|arXiv (Cornell University)|Sep 1, 2022

Statistical Methods in Clinical Trials被引用 11

一句话总结

本文研究具有几何混合特性的马尔可夫系统中的切换实验，表明标准设计因严重的延续效应偏差导致估计误差衰减速度仅为 $T^{-1/3}$，远慢于无延续效应时可实现的 $T^{-1/2}$ 速率。本文提出在每次处理切换后引入预热期，使误差衰减速度达到 $√{\log T / T}$，并在非平稳条件下建立了有效的中心极限定理。

ABSTRACT

The switchback is an experimental design that measures treatment effects by repeatedly turning an intervention on and off for a whole system. Switchback experiments are a robust way to overcome cross-unit spillover effects; however, they are vulnerable to bias from temporal carryovers. In this paper, we consider properties of switchback experiments in Markovian systems that mix at a geometric rate. We find that, in this setting, standard switchback designs suffer considerably from carryover bias: Their estimation error decays as $T^{-1/3}$ in terms of the experiment horizon $T$, whereas in the absence of carryovers a faster rate of $T^{-1/2}$ would have been possible. We also show, however, that judicious use of burn-in periods can considerably improve the situation, and enables errors that decay as $\log(T)^{1/2}T^{-1/2}$. Our formal results are mirrored in an empirical evaluation.

研究动机与目标

• 分析时间延续效应在具有几何混合特性的马尔可夫系统中对切换实验估计的影响。
• 阐明为何标准切换实验设计因延续效应偏差而导致收敛速度缓慢。
• 提出并分析一种预热期策略，以减轻延续效应偏差并提升估计效率。
• 在系统动态非平稳的条件下，建立差异均值估计量与偏差校正估计量的有效中心极限定理。

提出的方法

• 将系统建模为具有统一有界混合时间 $t_{\text{mix}}$ 的非平稳马尔可夫过程，其中处理效应随时间呈几何衰减。
• 通过处理期与非处理期之间的差异均值分析标准切换实验估计，表明在延续效应偏差下收敛速率为 $T^{-1/3}$。
• 提出一种改进设计，排除每次处理切换后 $b$ 个时间周期内的观测值（即预热期），以减少延续效应影响。
• 推导在预热设计下差异均值估计量的渐近方差，表明误差衰减速度为 $\sqrt{\log T / T}$。
• 引入一种加权偏差校正估计量，使其在整个实验周期内均能达到相同的 $\sqrt{\log T / T}$ 误差速率。
• 为两种估计量建立中心极限定理，即使在系统状态非平稳时也成立。

实验结果

研究问题

• RQ1 在具有几何延续效应的马尔可夫系统中，标准切换实验估计量的根本收敛速率是什么？
• RQ2 在几何混合条件下，预热期是否能显著减少切换实验中的延续效应偏差？
• RQ3 使用预热期是否能实现快于标准 $T^{-1/3}$ 速率的收敛速度？
• RQ4 在非平稳系统动态下，是否可基于所提出的预热设计进行有效推断？
• RQ5 在预热设计下，差异均值估计量与偏差校正估计量的渐近分布是什么？

主要发现

• 标准切换实验设计因严重的延续效应偏差，导致估计误差衰减速度仅为 $T^{-1/3}$，即使系统具有几何混合特性亦如此。
• 在每次处理切换后引入预热期可显著减少延续效应偏差，并使估计误差衰减速度提升至 $\sqrt{\log T / T}$，相比 $T^{-1/3}$ 显著改善。
• 在预热设计下，差异均值估计量实现了 $\sqrt{\log T / T}$ 的误差衰减速度，且其有效中心极限定理在非平稳环境中依然成立。
• 一种更复杂的加权偏差校正估计量可在整个实验周期内实现相同的 $\sqrt{\log T / T}$ 误差衰减速度，同时估计全局处理效应。
• 实证评估结果表明，预热期在马尔可夫延续效应模型下可显著提升估计精度。
• 只要混合时间保持统一有界，理论结果对非平稳系统动态具有鲁棒性。