[论文解读] Policy Evaluation during a Pandemic

Brantly Callaway, Tong Li|arXiv (Cornell University)|May 14, 2021

COVID-19 epidemiological studies被引用 5

一句话总结

本文认为，传统双重差分（DID）方法在评估大流行病政策时表现不佳，因其无法适配疾病传播的高度非线性动态。相反，本文提出基于无混淆性的方法，通过控制政策实施前的大流行状态，证明此类方法能更可靠地估计居家令对新冠肺炎病例数和经济结果的影响。

ABSTRACT

National and local governments have implemented a large number of policies in response to the Covid-19 pandemic. Evaluating the effects of these policies, both on the number of Covid-19 cases as well as on other economic outcomes is a key ingredient for policymakers to be able to determine which policies are most effective as well as the relative costs and benefits of particular policies. In this paper, we consider the relative merits of common identification strategies that exploit variation in the timing of policies across different locations by checking whether the identification strategies are compatible with leading epidemic models in the epidemiology literature. We argue that unconfoundedness type approaches, that condition on the pre-treatment "state" of the pandemic, are likely to be more useful for evaluating policies than difference-in-differences type approaches due to the highly nonlinear spread of cases during a pandemic. For difference-in-differences, we further show that a version of this problem continues to exist even when one is interested in understanding the effect of a policy on other economic outcomes when those outcomes also depend on the number of Covid-19 cases. We propose alternative approaches that are able to circumvent these issues. We apply our proposed approach to study the effect of state level shelter-in-place orders early in the pandemic.

研究动机与目标

• 评估常见政策评估策略（尤其是双重差分法）与新冠肺炎大流行背景下主流流行病模型的兼容性。
• 解决在政策实施前，处理组与对照组之间大流行状态（如病例数）存在差异时，由于非线性传播动态导致DID估计产生偏差的问题。
• 当经济结果也受新冠肺炎病例数影响时（这是一种常见但常被误估的路径），评估政策对经济结果的影响。
• 提出一种新的识别策略，当病例数作为中介变量时，能正确分离出政策对结果的直接影响。
• 将所提方法应用于美国各州居家令（SIPO）的真实数据，并与标准方法进行比较。

提出的方法

• 本文使用结构流行病模型评估识别策略，该模型捕捉了包括易感者和感染者数量及传播率在内的非线性传播动态。
• 将双重差分法（DID）与基于无混淆性的方法进行对比，后者通过控制政策实施前的大流行状态（如政策前的病例数）来控制基线条件的异质性。
• 对于同时受政策和病例数影响的结果，本文推导出一种新估计器，考虑了新冠肺炎病例数的中介作用，避免了对处理后变量进行条件化带来的偏差。
• 该方法使用潜在结果框架定义在无混淆性假设下的处理效应，即在控制政策实施前的状态后，反事实结果与处理分配无关。
• 作者将该估计器应用于2020年初美国各州层面的居家令（SIPO）数据，使用病例数和旅行数据。
• 将所提方法的结果与标准DID和无混淆性估计器的结果进行比较，突出不同方法在估计政策效应上的差异。

实验结果

研究问题

• RQ1 在高度非线性疾病传播动态下，标准双重差分法在评估大流行病政策时表现如何？
• RQ2 在政策实施前，大流行状态（如病例数）的差异在多大程度上会偏差DID对政策影响新冠肺炎病例数的估计？
• RQ3 当经济结果也直接受病例数影响时，标准DID方法能否正确估计政策对经济结果的影响？
• RQ4 当病例数作为中介变量时，何种替代识别策略能正确隔离政策对结果的直接影响？
• RQ5 与传统方法相比，使用所提方法估计居家令对新冠肺炎病例数和出行的影响时，结果有何不同？

主要发现

• 双重差分法在大流行病政策评估中不适用，因其假设线性、可加效应，与疾病传播的非线性动态不一致。
• 基于无混淆性的方法通过控制政策实施前的大流行状态，表现更优，因其能考虑不同地区病例数的基线差异。
• 标准DID方法若在结果模型中将病例数作为协变量，无法正确识别平均处理效应，原因在于对处理后变量进行条件化导致偏差。
• 所提出的替代估计器在病例数作为中介变量时，能正确识别政策对结果的直接影响，避免了传统方法固有的偏差。
• 在居家令的应用中，尽管不同方法的估计结果存在差异，但所提方法与标准方法相比，在病例数估计上表现出显著不同。
• 即使政策效应在统计上不显著，置信区间也较宽；密苏里州90%置信区间的下限显示，政策实施21天后病例数可能减少30%，表明存在较大潜在效应，但因统计功效不足而被掩盖。