[논문 리뷰] Switchback Experiments under Geometric Mixing

Yu‐Chen Hu, Stefan Wager|arXiv (Cornell University)|2022. 09. 01.

Statistical Methods in Clinical Trials인용 수 11

한 줄 요약

이 논문은 기하적 혼합을 가지는 마르코프 시스템에서 스위치백 실험을 다루며, 표준 설계가 심각한 계속 효과 편향을 야기함을 보여주며, 추정 오차는 $T^{-1/3}$ 속도로 감소하여, 계속 효과가 없는 조건에서 달성 가능한 $T^{-1/2}$ 속도보다 훨씬 느리게 감소함을 밝힌다. 이를 위해 각 치료 전환 후 버닝 인 기간을 도입함으로써 오차 감소 속도를 $ olimits\sqrt{\log T / T}$로 개선하고, 비정상 조건에서도 유효한 중심극한정리가 성립함을 증명한다.

ABSTRACT

The switchback is an experimental design that measures treatment effects by repeatedly turning an intervention on and off for a whole system. Switchback experiments are a robust way to overcome cross-unit spillover effects; however, they are vulnerable to bias from temporal carryovers. In this paper, we consider properties of switchback experiments in Markovian systems that mix at a geometric rate. We find that, in this setting, standard switchback designs suffer considerably from carryover bias: Their estimation error decays as $T^{-1/3}$ in terms of the experiment horizon $T$, whereas in the absence of carryovers a faster rate of $T^{-1/2}$ would have been possible. We also show, however, that judicious use of burn-in periods can considerably improve the situation, and enables errors that decay as $\log(T)^{1/2}T^{-1/2}$. Our formal results are mirrored in an empirical evaluation.

연구 동기 및 목표

• 기하적 혼합을 가지는 마르코프 시스템에서 시간적 계속 효과가 스위치백 실험 추정에 미치는 영향을 분석하는 것.
• 표준 스위치백 설계가 계속 효과 편향으로 인해 느린 수렴 속도를 보이는 이유를 규명하는 것.
• 계속 효과 편향을 완화하고 추정 효율성을 향상시키는 버닝 인 기간 전략을 제안하고 분석하는 것.
• 비정상적 시스템 역학 조건 하에서도 차이의 평균 및 편향 보정 추정량에 대해 유효한 중심극한정리를 수립하는 것.

제안 방법

• 치료 효과가 시간이 지남에 따라 기하적으로 감소하는, 균일하게 유계인 혼합 시간 $t_{\text{mix}}$를 가지는 비정상 마르코프 과정으로 시스템을 모델링한다.
• 온/오프 기간 간의 차이의 평균을 통한 표준 스위치백 추정을 분석하여, 계속 효과 편향 하에서 수렴 속도가 $T^{-1/3}$임을 보인다.
• 각 치료 전환 후 $b$ 시간 기간 동안의 관측치를 제외함으로써 계속 효과의 영향을 줄이기 위한 수정된 설계를 제안한다 (버닝 인 기간).
• 버닝 인 설계 하에서 차이의 평균 추정량의 渐近 분산을 유도하여, 오차 감소 속도가 $\sqrt{\log T / T}$임을 보인다.
• 전체 실험 기간 동안 전역 치료 효과를 추정할 수 있는 가중치를 적용한 편향 보정 추정량을 도입하며, 이 역시 동일한 $\sqrt{\log T / T}$ 오차 속도를 달성한다.
• 비정상적 시스템 상태 조건 하에서도 유효한 중심극한정리를 두 추정량 모두에 대해 수립한다.

실험 결과

연구 질문

• RQ1 기하적 계속 효과가 있는 마르코프 시스템에서 표준 스위치백 추정량의 기본 수렴 속도는 무엇인가?
• RQ2 기하적 혼합 조건 하에서 버닝 인 기간이 스위치백 실험의 계속 효과 편향을 상당히 감소시킬 수 있는가?
• RQ3 버닝 인 기간의 사용이 표준 $T^{-1/3}$ 속도보다 더 빠른 수렴을 가능하게 하는가?
• RQ4 제안된 버닝 인 설계를 사용하여 비정상적 시스템 역학 조건 하에서도 타당한 추론을 수행할 수 있는가?
• RQ5 버닝 인 설계 하에서 차이의 평균 및 편향 보정 추정량의 渐近 분포는 무엇인가?

주요 결과

• 표준 스위치백 설계는 심각한 계속 효과 편향을 야기하며, 시스템이 기하적 혼합을 하더라도 추정 오차가 $T^{-1/3}$ 속도로 감소함을 보여준다.
• 각 치료 전환 후 버닝 인 기간을 도입함으로써 계속 효과 편향이 감소하고, 추정 오차가 $\sqrt{\log T / T}$ 속도로 감소함을 보여주며, 이는 $T^{-1/3}$에 비해 상당한 향상이다.
• 버닝 인 설계 하에서 차이의 평균 추정량은 $\sqrt{\log T / T}$ 오차 속도를 달성하며, 비정상 환경에서도 유효한 중심극한정리가 성립함을 보였다.
• 더 복잡한 가중치를 적용한 편향 보정 추정량은 전체 실험 기간 동안 전역 치료 효과를 추정하면서도 동일한 $\sqrt{\log T / T}$ 오차 속도를 달성할 수 있다.
• 실증 평가 결과, 버닝 인 기간이 마르코프 계속 효과 모델 하에서 추정 정확도를 상당히 향상시킴을 확인하였다.
• 이론적 결과는 혼합 시간이 균일하게 유계이면 비정상적 시스템 역학 조건에 대해서도 강건함을 보였다.