[論文レビュー] Data-Driven Switchback Experiments: Theoretical Tradeoffs and Empirical Bayes Designs

Ruoxuan Xiong, Alex Chin+1 more|arXiv (Cornell University)|Jun 10, 2024

Advanced Statistical Process MonitoringDecision Sciences被引用数 3

ひとこと要約

本稿は、持ち越し効果、周期性、自己相関、および同時介入を考慮した単一の集計単位におけるスイッチバック実験の経験的ベイズ設計を提案する。過去の実験データを活用して区間長とスイッチングパターンを最適化することで、実際のライドシェアリングプラットフォームの事例において、現状の手法に比べて平均二乗誤差（MSE）を33％削減する。

ABSTRACT

We study the design and analysis of switchback experiments conducted on a single aggregate unit. The design problem is to partition the continuous time space into intervals and switch treatments between intervals, in order to minimize the estimation error of the treatment effect. We show that the estimation error depends on four factors: carryover effects, periodicity, serially correlated outcomes, and impacts from simultaneous experiments. We derive a rigorous bias-variance decomposition and show the tradeoffs of the estimation error from these factors. The decomposition provides three new insights in choosing a design: First, balancing the periodicity between treated and control intervals reduces the variance; second, switching less frequently reduces the bias from carryover effects while increasing the variance from correlated outcomes, and vice versa; third, randomizing interval start and end points reduces both bias and variance from simultaneous experiments. Combining these insights, we propose a new empirical Bayes design approach. This approach uses prior data and experiments for designing future experiments. We illustrate this approach using real data from a ride-sharing platform, yielding a design that reduces MSE by 33% compared to the status quo design used on the platform.

研究の動機と目的

• 複数の時間的要因によって混同される単一の集計単位における時間ベースのスイッチバック実験の設計課題に対処すること。
• 推定誤差の4つの主要因（持ち越し効果、周期性、系列相関、同時介入）を特定し、モデル化すること。
• これらの要因にわたるバイアス-分散トレードオフをバランスさせるデータ駆動型の設計フレームワークを開発すること。
• 実際のライドシェアリングプラットフォームデータを用いた実証的応用を通じて、このアプローチの実用的価値を示すこと。
• 最適な区間分割とスイッチング頻度を導く理論的基盤を提供するバイアス-分散分解の理論的基盤を構築すること。

提案手法

• グローバル平均処置効果（GATE）推定誤差の厳密なバイアス-分散分解を導出し、持ち越し、周期性、系列相関、および同時介入の4要因からの寄与を分離すること。
• 歴史的実験データを活用して、将来の実験における区間長とスイッチングパターンの選択を支援する、画期的な経験的ベイズ設計を提案すること。
• 累積効果曲線（CEC）と結果の相関の事前分布を統合し、最適なスイッチングスケジュールを推定すること。
• 重み付き最小二乗推定フレームワークを用いて、持ち越し効果に起因するバイアスと相関結果に起因する分散の両方をバランスさせ、平均二乗誤差（MSE）を最小化すること。
• 同時に実施される実験に起因するバイアスと分散を低減するため、区間の開始および終了点をランダム化すること。
• ライドシェアリングプラットフォームの実データにこの手法を適用し、歴史的処置効果推定値と結果のダイナミクスを用いて設計をキャリブレーションすること。

実験結果

リサーチクエスチョン

• RQ1 持ち越し効果、周期性、系列相関、および同時介入が、スイッチバック実験におけるGATE推定のバイアスと分散にどのように同時に影響を与えるか。
• RQ2 時間ベースのスイッチバック設計において、スイッチング頻度（持ち越し効果に起因するバイアスと相関に起因する分散に影響）の最適なトレードオフは何か。
• RQ3 過去の実験データをどのように活用して、データ駆動型の経験的ベイズフレームワークにおいて将来のスイッチバック実験の設計を改善できるか。
• RQ4 同時に実施される実験が存在する状況で、区間境界をランダム化することで、バイアスと分散をどれほど低減できるか。
• RQ5 実世界のプラットフォームにおいて、標準的な現状の設計と比較して、提案された設計を適用することで推定精度にどの程度の実証的向上が得られるか。

主な発見

• 提案された経験的ベイズ設計は、ライドシェアリングプラットフォームで使用されている現状の設計と比較して、GATE推定の平均二乗誤差（MSE）を33％削減する。
• 処置群と対照群の区間における周期性のバランスを取ることで分散が低減され、実験設計における時間的対称性の重要性が浮き彫りになる。
• スイッチング頻度を低くすることで持ち越し効果に起因するバイアスは低減されるが、系列相関結果に起因する分散が増加し、逆に頻度を高めるとその逆が起こる。これは明確なバイアス-分散トレードオフを確認するものである。
• 区間の開始および終了点をランダム化することで、同時に実施される実験に起因するバイアスと分散の両方が低減され、実用的な設計改善が得られる。
• 理論的バイアス-分散分解により、同時介入が推定誤差に顕著に寄与していることが明らかとなり、戦略的な区間設計によってその影響を緩和できることが示された。
• この手法は、歴史的データを効果的に活用して区間長とスイッチングパターンをキャリブレーションでき、実世界のプラットフォームデータにおいて優れた実証的パフォーマンスを示している。