[論文レビュー] Switchback Experiments under Geometric Mixing

Yu‐Chen Hu, Stefan Wager|arXiv (Cornell University)|Sep 1, 2022

Statistical Methods in Clinical Trials被引用数 11

ひとこと要約

本稿は幾何的混合を示すマルコフ過程におけるスイッチバック実験を研究し、標準的な実験設計が深刻な継続効果バイアスを示すことを示している。推定誤差は $T^{-1/3}$ の速度で減少するが、これは継続効果がない場合に達成可能な $T^{-1/2}$ の速度よりもはるかに遅い。本稿では、各処置切り替え後にバーンイン期間を設ける手法を提案し、誤差の減少速度を $ olimitsackslash sqrt extless{}\log T / T$ に改善する。非定常状態でも有効な中心極限定理を確立している。

ABSTRACT

The switchback is an experimental design that measures treatment effects by repeatedly turning an intervention on and off for a whole system. Switchback experiments are a robust way to overcome cross-unit spillover effects; however, they are vulnerable to bias from temporal carryovers. In this paper, we consider properties of switchback experiments in Markovian systems that mix at a geometric rate. We find that, in this setting, standard switchback designs suffer considerably from carryover bias: Their estimation error decays as $T^{-1/3}$ in terms of the experiment horizon $T$, whereas in the absence of carryovers a faster rate of $T^{-1/2}$ would have been possible. We also show, however, that judicious use of burn-in periods can considerably improve the situation, and enables errors that decay as $\log(T)^{1/2}T^{-1/2}$. Our formal results are mirrored in an empirical evaluation.

研究の動機と目的

• マルコフ過程における幾何的混合を示す系において、時間的継続効果がスイッチバック実験の推定に与える影響を分析すること。
• 標準的なスイッチバック設計が、継続効果バイアスのため推定速度が著しく遅延する理由を特定すること。
• 継続効果バイアスを軽減し推定効率を向上させるバーンイン期間戦略を提案・分析すること。
• 非定常な系の動的状態下でも有効な、差分推定量およびバイアス補正推定量の中心極限定理を確立すること。

提案手法

• 処置効果が時間とともに幾何的に減少する、混合時間 $t_{\text{mix}}$ が一様に有界な非定常マルコフ過程としてシステムをモデル化する。
• オン・オフ期間の差分推定量を用いた標準的なスイッチバック推定を分析し、継続効果バイアス下で $T^{-1/3}$ の収束速度を示す。
• 各処置切り替え後に $b$ 時間単位の観測を除外する（バーンイン期間）ことで、継続効果の影響を低減する修正設計を提案する。
• バーンイン設計下での差分推定量の漸近的分散を導出し、誤差が $\sqrt{\log T / T}$ の速度で減少することを示す。
• 全実験期間にわたりグローバルな処置効果を推定可能な重み付きバイアス補正推定量を導入し、同様に $ olimitsackslash sqrt extless{}\log T / T$ の誤差速度を達成することを示す。
• 非定常状態でも成立する、両推定量の中心極限定理を確立する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ過程における幾何的継続効果が生じる状況下で、標準的なスイッチバック推定量の根本的収束速度は何か？
• RQ2 幾何的混合の下で、バーンイン期間はスイッチバック実験における継続効果バイアスを顕著に低減できるか？
• RQ3 バーンイン期間の導入により、標準的な $T^{-1/3}$ 速度よりも速い収束が達成可能か？
• RQ4 提案されたバーンイン設計を用いることで、非定常な系の動的状態下でも有効な推論が可能か？
• RQ5 バーンイン設計下で、差分推定量およびバイアス補正推定量の漸近的分布は何か？

主な発見

• 標準的なスイッチバック設計は、深刻な継続効果バイアスを示し、推定誤差は $T^{-1/3}$ の非常に遅い速度で減少する。これは、システムが幾何的混合であっても同様である。
• 各処置切り替え後にバーンイン期間を設けることで、継続効果バイアスが低減され、推定誤差が $ olimitsackslash sqrt extless{}\log T / T$ の速度で減少する。これは $T^{-1/3}$ に比べ顕著な改善である。
• バーンイン設計下での差分推定量は $ olimitsackslash sqrt extless{}\log T / T$ の誤差速度を達成し、非定常環境下でも有効な中心極限定理が成立する。
• より複雑な重み付きバイアス補正推定量は、全実験期間にわたりグローバルな処置効果を推定可能であり、同様に $ olimitsackslash sqrt extless{}\log T / T$ の誤差速度を達成する。
• 実験的評価により、バーンイン期間がマルコフ的継続効果モデル下で推定精度を顕著に向上させることを確認した。
• 理論的結果は、混合時間が一様に有界である限り、非定常な系の動的状態に対してもロバストである。