[論文レビュー] Policy Evaluation during a Pandemic

Brantly Callaway, Tong Li|arXiv (Cornell University)|May 14, 2021

COVID-19 epidemiological studies被引用数 5

ひとこと要約

本稿では、感染症の伝搬に著しい非線形性が見られるパンデミック政策の評価において、従来の差分の差分（DID）手法が不適切であると主張している。代わりに、治療前におけるパンデミック状態を条件付ける因果推定手法を提案し、その手法が、COVID-19の感染者数および経済的結果に対する「屋内退避命令」（SIPO）の影響をより信頼性の高い推定値で得られることを示している。

ABSTRACT

National and local governments have implemented a large number of policies in response to the Covid-19 pandemic. Evaluating the effects of these policies, both on the number of Covid-19 cases as well as on other economic outcomes is a key ingredient for policymakers to be able to determine which policies are most effective as well as the relative costs and benefits of particular policies. In this paper, we consider the relative merits of common identification strategies that exploit variation in the timing of policies across different locations by checking whether the identification strategies are compatible with leading epidemic models in the epidemiology literature. We argue that unconfoundedness type approaches, that condition on the pre-treatment "state" of the pandemic, are likely to be more useful for evaluating policies than difference-in-differences type approaches due to the highly nonlinear spread of cases during a pandemic. For difference-in-differences, we further show that a version of this problem continues to exist even when one is interested in understanding the effect of a policy on other economic outcomes when those outcomes also depend on the number of Covid-19 cases. We propose alternative approaches that are able to circumvent these issues. We apply our proposed approach to study the effect of state level shelter-in-place orders early in the pandemic.

研究の動機と目的

• コロナウイルス病（Covid-19）パンデミックの文脈において、一般的な政策評価戦略（特に差分の差分）が、代表的な流行モデルと整合するかを評価すること。
• 治療前におけるパンデミック状態の差（例：感染者数の差）が、非線形な感染伝播ダイナミクスのため、DID推定値にバイアスをもたらすという課題に対処すること。
• 経済的結果が、COVID-19の感染者数によっても直接的に影響を受けるという一般的だがしばしば誤って推定される経路がある場合、そのような結果に対する政策効果を評価すること。
• 感染者数が中間変数として機能する状況において、政策が結果に及ぼす直接的効果を正しく分離できる新たな識別戦略を提案すること。
• 提案手法を米国州レベルの「屋内退避命令」（SIPO）に関する実世界データに適用し、標準的手法と結果を比較すること。

提案手法

• 本稿は、感受性者および感染者の割合、感染率を含む非線形伝播ダイナミクスを捉える構造的流行モデルを用いて、識別戦略を評価している。
• 治療前におけるパンデミック状態（例：政策施行前の感染者数）を条件とするunconfoundedness型アプローチと、差分の差分（DID）を対比し、初期状態の不均一性を制御している。
• 政策と感染者数の両方が結果に影響を与える場合、COVID-19の感染者数が中間変数として機能する場合に、新たな推定量を導出している。これにより、治療後変数の条件付けに起因するバイアスを回避している。
• 潜在的結果フレームワークを用いて、治療前状態を条件とする場合に、反実仮想結果が治療割り当てと独立であるというunconfoundednessのもとで、治療効果を定義している。
• 著者らは、2020年初期の感染者数および移動データを用いて、米国州レベルの「屋内退避命令」（SIPO）データにその推定量を適用している。
• 提案手法の結果を、標準的DIDおよびunconfoundedness推定量と比較し、推定される政策効果の違いを強調している。

実験結果

リサーチクエスチョン

• RQ1 非線形な感染伝播ダイナミクスのもとで、標準的な差分の差分（DID）手法は、パンデミック政策の評価においてどの程度の性能を示すか？
• RQ2 治療前におけるパンデミック状態の差（例：感染者数）が、COVID-19の感染者数に対するDID推定値にどの程度バイアスをもたらすか？
• RQ3 経済的結果が、COVID-19の感染者数によっても直接的に影響を受ける場合、標準的DID手法は、そのような結果に対する政策効果を正しく推定できるか？
• RQ4 感染者数が中間変数として機能する状況において、政策が結果に及ぼす直接的効果を正しく分離できる代替識別戦略は何か？
• RQ5 提案手法と従来のアプローチを用いた場合、屋内退避命令（SIPO）の感染者数および移動への影響の推定効果にどのような差が生じるか？

主な発見

• 差分の差分（DID）手法は、感染症の伝搬に著しい非線形性が見られる状況では、政策評価に不適切である。これは、線形的・加法的効果を仮定しているが、感染伝播のダイナミクスとは整合しないからである。
• 治療前におけるパンデミック状態（例：感染者数）を条件とするunconfoundedness型アプローチは、地域間の初期感染者数の差を考慮できるため、より優れた性能を示す。
• 感染者数を結果モデルの共変量として含む標準的DID手法は、感染者数が中間変数である場合、治療後変数の条件付けに起因するバイアスにより、平均処置効果を正しく特定できない。
• 提案された代替推定量は、感染者数が中間変数として機能する状況において、政策が結果に及ぼす直接的効果を正しく特定でき、従来の手法に内在するバイアスを回避する。
• 屋内退避命令への適用において、手法ごとの推定値に差が見られるが、特に感染者数に関して、提案手法は標準的手法とは顕著に異なる結果を示している。
• 政策効果が統計的に有意でない場合でも、信頼区間は広く、ミズーリ州の90％信頼区間の下限は、政策施行後21日目に感染者数が30％減少する可能性を示唆しており、低統計的パワーのため見えにくくなっているが、大きな潜在的効果が存在する可能性を示している。