[論文レビュー] On the Use of Two-Way Fixed Effects Models for Policy Evaluation During Pandemics

Germain Gauthier|arXiv (Cornell University)|Jun 21, 2021

Advanced Causal Inference Techniques被引用数 7

ひとこと要約

この論文は、パンデミック緩和政策の評価に二重固定効果（FE）モデルを使用することを挑戦し、平行トレンド仮定の破綻、感染率および感受性人口の無視された非定型性、および時間に依存する処置効果によって、このようなモデルが系的に誤指定されていることを示している。シミュレーションでは、処置効果推定値に顕著なバイアスが生じており、場合によっては大きさと符号が逆転するため、疫学的文脈における標準的な差の差（difference-in-differences）手法の信頼性が損なわれる。

ABSTRACT

In the context of the Covid-19 pandemic, multiple studies rely on two-way fixed effects (FE) models to assess the impact of mitigation policies on health outcomes. Building on the SIRD model of disease transmission, I show that FE models tend to be misspecified for three reasons. First, despite misleading common trends in the pre-treatment period, the parallel trends assumption generally does not hold. Second, heterogeneity in infection rates and infected populations across regions cannot be accounted for by region-specific fixed effects, nor by conditioning on observable time-varying confounders. Third, epidemiological theory predicts heterogeneous treatment effects across regions and over time. Via simulations, I find that the bias resulting from model misspecification can be substantial, in magnitude and sometimes in sign. Overall, my results caution against the use of FE models for mitigation policy evaluation.

研究の動機と目的

• パンデミック中の緩和政策の影響を推定するための二重固定効果（FE）モデルの妥当性を評価すること。
• 感受性－感染－回復－死亡（SIRD）モデルの下で、平行トレンド仮定が成立するかどうかを調査すること。
• 感染率および感受性人口における観察されない非定型性が、FEモデルの一貫性を損なうかどうかを検討すること。
• 地域間および時間にわたる処置効果の非定型性が、FEモデルの性能に与える影響を評価すること。
• パンデミック状況下での政策評価にFEモデルに依存することに対する、根拠に基づく警告を提供すること。

提案手法

• パンデミック中の感染伝播における交絡要因を分析するためのSIRDモデルに基づく理論的枠組みを構築する。
• 二つの主要な交絡要因を同定する：(1) 地域間における初期の感染者および感受性人口の非定型性、および (2) 行動的・政策的反応に起因する時間に依存する感染率。
• SIRDモデルに従って生成された合成データを用いたモンテカルロシミュレーションを実施する。
• 一定の処置効果を仮定するFE線形回帰モデルと、時間に依存する処置効果を許容する動的イベントスタディモデルを比較する。
• バイアス、標準誤差、および平均二乗誤差（RMSE）を用いて、累積症例数、対数症例数、および対数症例の差分という複数の従属変数におけるモデルのパフォーマンスを評価する。
• 二つのシナリオを導入する：(1) 政策効果なし（非効率的政策）、(2) 感染率が10％低下する（効率的政策）。

実験結果

リサーチクエスチョン

• RQ1 パンデミック下のSIRDモデルにおいて、前処置段階の共通トレンドが見られるにもかかわらず、平行トレンド仮定は成立するのか？
• RQ2 初期の感染者および感受性人口における観察されない非定型性が、FEモデルによる緩和政策効果の推定値にどれほどバイアスを引き起こすのか？
• RQ3 行動的反応および政策変更に起因する時間に依存する感染率が、政策評価におけるFEモデルの妥当性にどのように影響するのか？
• RQ4 地域間および時間にわたる処置効果の非定型性がある状況で、一定の処置効果を仮定するFEモデルが、緩和政策の影響を信頼性を持って推定できるのか？
• RQ5 モデル誤指定下で、イベントスタディモデルは標準的なFEモデルと比べてバイアスおよび精度の点でどのように異なるのか？

主な発見

• 観察されない非定型性（初期の流行段階および感染率の差）により、SIRDモデルでは一般的に平行トレンド仮定が破綻しており、標準的な差の差推定値は信頼できない。
• 実際の政策効果が存在しない場合でも、FEモデルは処置効果推定値に顕著なバイアスを生じさせ、シミュレーションではRMSEが34,000から224,000の範囲に達する。
• 感染率が10％低下する政策があるシナリオでは、FEモデルの累積症例数の対数に対する点推定値は-0.1633、標準誤差は0.0219であり、これは大きなバイアスと不正確さを示している。
• イベントスタディモデルは政策の「即時効果」をよりよく捉えるが、依然として高いRMSEとモデル誤指定に苦しんでいる。
• 測定ノイズが存在しないにもかかわらず、シミュレーションにおける標準誤差は大きく、不確実性の主な要因はサンプリングのばらつきではなく、モデル誤指定である。
• イベントスタディモデルの平均二乗誤差（RMSE）は34,069.94から224,595.31の範囲にあり、これは、より柔軟なモデルであっても、観察されない非定型性下では反実仮想的状況が信頼できないことを示唆している。