[논문 리뷰] Policy Evaluation during a Pandemic

Brantly Callaway, Tong Li|arXiv (Cornell University)|2021. 05. 14.

COVID-19 epidemiological studies인용 수 5

한 줄 요약

이 논문은 전염병 확산의 매우 비선형적인 역학적 특성으로 인해 전통적인 차이의 차이(DID) 방법이 팬데믹 정책 평가에 부적합하다고 주장한다. 대신, 치료 전 팬데믹 상태를 조건으로 하는 비편향성 기반 접근법을 제안하며, 이는 코로나19 감염자 수와 경제적 결과에 대한 체류 명령의 영향을 더 신뢰성 있게 추정할 수 있음을 보여준다.

ABSTRACT

National and local governments have implemented a large number of policies in response to the Covid-19 pandemic. Evaluating the effects of these policies, both on the number of Covid-19 cases as well as on other economic outcomes is a key ingredient for policymakers to be able to determine which policies are most effective as well as the relative costs and benefits of particular policies. In this paper, we consider the relative merits of common identification strategies that exploit variation in the timing of policies across different locations by checking whether the identification strategies are compatible with leading epidemic models in the epidemiology literature. We argue that unconfoundedness type approaches, that condition on the pre-treatment "state" of the pandemic, are likely to be more useful for evaluating policies than difference-in-differences type approaches due to the highly nonlinear spread of cases during a pandemic. For difference-in-differences, we further show that a version of this problem continues to exist even when one is interested in understanding the effect of a policy on other economic outcomes when those outcomes also depend on the number of Covid-19 cases. We propose alternative approaches that are able to circumvent these issues. We apply our proposed approach to study the effect of state level shelter-in-place orders early in the pandemic.

연구 동기 및 목표

• 코로나19 팬데믹 맥락에서 주요 전염병 모델과 공통된 정책 평가 전략(특히 차이의 차이) 간의 호환성을 평가하기 위해.
• 치료 전 팬데믹 상태(예: 감염자 수)의 차이가 비선형 전파 역학으로 인해 DDD 추정치를 편향시킬 수 있는 문제를 다루기 위해.
• 경제적 결과가 코로나19 감염자 수에 의해도 직접적으로 영향을 받는다는 점을 고려할 때, 이러한 결과에 대한 정책 효과를 평가하기 위해.
• 감염자 수가 중재 변수로 작용할 경우, 정책이 결과에 미치는 직접 효과를 정확히 분리할 수 있는 새로운 규명 전략을 제안하기 위해.
• 제안된 방법을 실제 주 수준의 체류 명령(SIPOs) 데이터에 적용하고, 기존 방법과 결과를 비교하기 위해.

제안 방법

• 논문은 감염자 및 회복자 인구와 전파율을 포함한 비선형 전파 역학을 반영하는 구조적 전염병 모델을 사용하여 규명 전략을 평가한다.
• 치료 전 팬데믹 상태(예: 치료 전 감염자 수)를 조건으로 하는 비편향성 유형의 접근법과 DDD를 대조하여, 기초 조건의 이질성을 제어한다.
• 정책과 감염자 수 모두 결과에 영향을 주는 결과에 대해, 코로나19 감염자 수가 중재 역할을 하므로, 후행 변수에 조건을 붙이는 것에서 발생하는 편향을 피하기 위해 새로운 추정기법을 유도한다.
• 잠재적 결과 프레임워크를 사용하여, 치료 전 상태 조건 하에서 반사적 결과가 치료 배정과 독립적이게 되는 비편향성 조건 하에서 치료 효과를 정의한다.
• 저자들은 미국 주 수준의 체류 명령(SIPOs) 데이터에 그들의 추정기법을 적용하며, 2020년 초의 감염자 수와 이동 데이터를 사용한다.
• 제안된 방법의 결과를 기존의 DDD 및 비편향성 추정기법과 비교하여, 추정된 정책 효과의 차이를 강조한다.

실험 결과

연구 질문

• RQ1 높은 비선형성의 전염병 전파 역학 하에서, 표준 차이의 차이(DID) 방법은 팬데믹 정책 평가에 어떻게 작용하는가?
• RQ2 치료 전 팬데믹 상태(예: 감염자 수)의 차이가 코로나19 감염자 수에 대한 DDD 추정치에 얼마나 큰 편향을 초래하는가?
• RQ3 경제적 결과가 코로나19 감염자 수에 의해 직접적으로 영향을 받는 상황에서, 표준 DDD 방법은 이러한 결과에 대한 정책 효과를 올바르게 추정할 수 있는가?
• RQ4 감염자 수가 중재 변수로 작용할 경우, 정책의 결과에 대한 직접 효과를 올바르게 분리할 수 있는 대안적 규명 전략은 무엇인가?
• RQ5 제안된 방법을 사용했을 때와 기존 방법을 사용했을 때, 체류 명령이 코로나19 감염자 수와 이동에 미치는 영향의 추정치는 어떻게 다를까?

주요 결과

• 차이의 차이(DID) 방법은 전염병 확산의 비선형 역학과 일치하지 않는 선형·加법적 효과를 가정하므로, 팬데믹 정책 평가에 부적합하다.
• 치료 전 팬데믹 상태를 조건으로 하는 비편향성 유형의 접근법은 지역 간 기초 감염자 수의 차이를 고려하므로 더 우수한 성능을 보인다.
• 감염자 수를 결과 모델의 공변량으로 포함하는 표준 DDD 방법은 감염자 수가 중재 변수일 경우 평균 치료 효과를 규명하지 못한다. 이는 후행 변수에 조건을 붙이는 편향 때문이기 때문이다.
• 제안된 대안 추정기법은 감염자 수가 관계를 중재할 경우 정책의 직접 효과를 정확히 규명하며, 기존 방법에 내재된 편향을 피한다.
• 체류 명령에 대한 적용 결과는 방법에 따라 추정치가 다를 수 있으나, 특히 감염자 수에 대해 제안된 방법이 기존 방법과 뚜렷이 다른 결과를 도출한다.
• 정책 효과가 통계적으로 유의미하지 않더라도, 신뢰구간은 넓고, 미주리주에 대한 90% 신뢰구간의 하한선은 정책 시행 21일 후 감염자 수가 약 30% 감소할 가능성을 시사하며, 낮은 통계적 검정력으로 인해 큰 영향이 가려져 있을 수 있음을 보여준다.