[논문 리뷰] On the Use of Two-Way Fixed Effects Models for Policy Evaluation During Pandemics

Germain Gauthier|arXiv (Cornell University)|2021. 06. 21.

Advanced Causal Inference Techniques인용 수 7

한 줄 요약

이 논문은 팬데믹 완화 정책 평가를 위한 이원 고정효과(FE) 모델의 사용을 도전하며, 평행 추세 가정 위배, 감염률과 감수성 인구의 고려되지 않은 이질성, 시간에 따라 변화하는 치료 효과로 인해 이러한 모델이 체계적으로 잘못 설정되어 있음을 보여준다. 시뮬레이션 결과, 치료 효과 추정치에 심각한 편향이 발생하며, 이는 크기와 부호 모두에서 나타나며, 전염병학적 맥락에서 표준 차이의 차이(DiD) 접근법의 신뢰성을 떨어뜨린다.

ABSTRACT

In the context of the Covid-19 pandemic, multiple studies rely on two-way fixed effects (FE) models to assess the impact of mitigation policies on health outcomes. Building on the SIRD model of disease transmission, I show that FE models tend to be misspecified for three reasons. First, despite misleading common trends in the pre-treatment period, the parallel trends assumption generally does not hold. Second, heterogeneity in infection rates and infected populations across regions cannot be accounted for by region-specific fixed effects, nor by conditioning on observable time-varying confounders. Third, epidemiological theory predicts heterogeneous treatment effects across regions and over time. Via simulations, I find that the bias resulting from model misspecification can be substantial, in magnitude and sometimes in sign. Overall, my results caution against the use of FE models for mitigation policy evaluation.

연구 동기 및 목표

• 팬데믹 기간 동안 완화 정책의 영향을 추정하기 위한 이원 고정효과(FE) 모델의 타당성을 평가하는 것.
• 전염병 전파의 Susceptible-Infected-Recovered-Deceased(SIRD) 모델 맥락에서 평행 추세 가정이 성립하는지 여부를 조사하는 것.
• 감염률과 감수성 인구에 대한 관측되지 않은 이질성이 FE 모델의 일관성에 영향을 미치는지 검토하는 것.
• 지역 간 및 시간에 따라 변화하는 이질적인 치료 효과가 있는 상황에서 FE 모델의 성능을 평가하는 것.
• 팬데믹 상황에서 정책 평가에 FE 모델에 의존하는 것에 대해 근거 기반의 경고를 제공하는 것.

제안 방법

• 팬데믹 기간 동안 전염병 전파의 혼란 요인을 분석하기 위한 SIRD 모델 기반 이론적 프레임워크를 개발한다.
• 혼란 요인의 두 가지 핵심 원인을 특정한다: (1) 지역 간 초기 감염자 및 감수성 인구의 이질성, (2) 행동 및 정책 반응으로 인한 시간에 따라 변화하는 감염률.
• 알려진 치료 효과를 가진 SIRD 모델에 기반한 합성 데이터를 사용해 몬테카를로 시뮬레이션을 수행한다.
• 일관된 치료 효과를 가정하는 FE 선형 회귀 모델과 시간에 따라 변화하는 치료 효과를 允許하는 동적 이벤트 스터디 모델을 비교한다.
• 누적 사례, 로그 사례, 델타 로그 사례 등의 다중 종속 변수를 사용해 편향, 표준 오차, 및 제곱근 평균 제곱오차(RMSE)를 통해 모델 성능을 평가한다.
• 두 가지 시나리오를 도입한다: 하나는 정책 효과가 없는 경우(비효율적 정책), 다른 하나는 감염률이 10% 감소하는 경우(효율적 정책).

실험 결과

연구 질문

• RQ1 팬데믹 기간 동안 SIRD 모델 맥락에서 사전 치료 단계에서 공통적인 추세가 보일지라도, 평행 추세 가정이 성립하는가?
• RQ2 초기 감염자 및 감수성 인구에 대한 관측되지 않은 이질성이 FE 모델의 정책 효과 추정치에 얼마나 큰 편향을 유발하는가?
• RQ3 행동 반응과 정책 변화로 인해 시간에 따라 변화하는 감염률이 정책 평가에서 FE 모델의 타당성에 어떤 영향을 미치는가?
• RQ4 지역 간 및 시간에 따라 변화하는 이질적인 치료 효과가 있는 상황에서, 일관된 치료 효과를 가정하는 FE 모델이 정책 영향을 신뢰성 있게 추정할 수 있는가?
• RQ5 모델 잘못 설정 상황에서, 이벤트 스터디 모델은 표준 FE 모델에 비해 편향과 정밀도 측면에서 어떻게 비교되는가?

주요 결과

• 관측되지 않은 이질성으로 인해 초기 유행 단계와 감염률에서 평행 추세 가정이 일반적으로 위배되며, 이로 인해 표준 차이의 차이(DiD) 추정치가 신뢰할 수 없게 된다.
• 실제 정책 효과가 없음에도 불구하고, FE 모델은 치료 효과 추정치에 심각한 편향을 유발하며, 시뮬레이션에서 RMSE는 34,000에서 224,000 사이로 변동한다.
• 정책이 감염률을 10% 감소시키는 시나리오에서는 FE 모델의 누적 사례의 로그에 대한 점추정치가 -0.1633이며 표준오차는 0.0219로, 큰 크기이지만 정밀도가 낮은 추정치를 나타낸다.
• 이벤트 스터디 모델은 정책의 '초기 영향'을 더 잘 포착하지만, 여전히 높은 RMSE와 모델 잘못 설정 문제를 겪는다.
• 측정 오차가 없음에도 불구하고 시뮬레이션에서 표준오차가 크며, 이는 불확실성의 원인이 표본 변동성보다 모델 잘못 설정에 기인함을 시사한다.
• 이벤트 스터디 모델의 제곱근 평균 제곱오차(RMSE) 범위는 34,069.94에서 224,595.31로 변동하며, 이는 관측되지 않은 이질성 하에서 심지어 더 유연한 모델조차도 신뢰할 수 없는 반사적 기준을 제공한다는 것을 시사한다.