[論文レビュー] Patterns of Effects and Sensitivity Analysis for Differences-in-Differences

Luke Keele, Dylan S. Small+2 more|arXiv (Cornell University)|Jan 7, 2019

Advanced Causal Inference Techniques参考文献 45被引用数 11

ひとこと要約

本稿は、差の差（DID）デザインにおける感受性分析手法を開発し、因果的結論を覆すためにどれほどの未観測の交絡要因が必要かを定量化する。観測済みの共変量を制御するマッチングと、McNemarの統計量に基づく新規の感受性検定を組み合わせることで、著者らは、平行トレンド仮定からのわずかな逸脱—たとえば治療割り当てのオッズが5％変化する—が結論を逆転させることを示し、標準的なDID推定がレジラントチェックを実施しない場合にいかに脆弱であるかを強調している。

ABSTRACT

Applied analysts often use the differences-in-differences (DID) method to estimate the causal effect of policy interventions with observational data. The method is widely used, as the required before and after comparison of a treated and control group is commonly encountered in practice. DID removes bias from unobserved time-invariant confounders. While DID removes bias from time-invariant confounders, bias from time-varying confounders may be present. Hence, like any observational comparison, DID studies remain susceptible to bias from hidden confounders. Here, we develop a method of sensitivity analysis that allows investigators to quantify the amount of bias necessary to change a study's conclusions. Our method operates within a matched design that removes bias from observed baseline covariates. We develop methods for both binary and continuous outcomes. We then apply our methods to two different empirical examples from the social sciences. In the first application, we study the effect of changes to disability payments in Germany. In the second, we re-examine whether election day registration increased turnout in Wisconsin.

研究の動機と目的

• 時間不変バイアスを制御しても、時間的に変化する未観測の交絡要因によるDID推定の脆弱性に対処すること。
• 因果的結論を逆転させるために必要な隠れた交絡の程度を定量化する感受性分析手法を開発すること。
• ドイツの障害手当変更および米国の選挙の日投票登録（EDR）という2つの実世界の政策評価に、この手法を適用すること。
• 平行トレンド仮定が仮定されている場合、特にその仮定が検証されない場合に、従来のDID推定が不確実性を低く見積もるために統計的有意性を誇張する可能性があることを示すこと。
• DIDは自然実験ではなく統計的道具として扱われるべきであり、その妥当性は治療割り当てメカニズムのモデリングと未観測交絡要因に対する感受性の評価に依存するべきであることを強調すること。

提案手法

• 観測済みのベースライン共変量（例：年齢、人種、教育、収入）に基づき、処置群と対照群のバランスをとるための基数マッチング（cardinality matching）を用い、時間経過にわたる共変量のバランスを確保する。
• 1972年と1980年のマッチドペア間でペア対ペアのマッチングを実施し、バランスを維持するとともに、ペア内比較を可能にする。
• DID推定値を逆転させるために必要な未観測交絡の程度を評価する感受性分析フレームワークを、オッズ比Γ²に基づいて採用する。
• 変動するレベルの未観測交絡（Γ）における片側p値を計算するために、シャープな帰無仮説の検定にMcNemarの検定を用いる。
• p値が従来の0.05の閾値を超える「変化点」におけるΓの値を計算し、結論が逆転する境界を特定する。
• この手法を二値的および連続的アウトカムの両方の設定に適用し、社会科学分野の一般的な実証的設定への応用可能性を拡張する。

実験結果

リサーチクエスチョン

• RQ1 EDRがウィスコンシン州の投票率を上昇させたという結論を覆すために、どれほどの未観測交絡が必要となるか？
• RQ2 ドイツの障害手当カットがサービス利用に与える影響を測るDID推定値は、平行トレンド仮定の破れに対してどの程度レジリエントか？
• RQ3 オッズ比に基づく感受性分析は、標準的なDID推定を無効にする可能性のある隠れた交絡要因の影響を検出できるか？
• RQ4 マッチングを用いることで、回帰ベースの補正と比較してDID推定値のレジリエンスはどの程度向上するか？
• RQ5 統計的有意性を無効にするために必要な未観測交絡の閾値（Γで測定）はどの程度か？

主な発見

• EDRの応用において、従来のDID推定ではウィスコンシン州とイリノイ州の間で投票率が10.3百分率ポイント上昇しており、p < .001であり、強い統計的有意性を示唆している。
• しかし、感受性分析により、治療割り当てのオッズが5％変化する（Γ ≈ 1.05）と、片側p値が0.05を超えることが判明し、結論がわずかな未観測交絡に対して脆弱であることが示された。
• McNemarの統計量を用いたシャープな帰無仮説の検定ではp値が0.018であったが、これは帰無仮説に反する強い証拠を示唆しているが、未観測交絡要因に敏感であることが判明した。
• 従来のt検定は不確実性を低く見積もっており、特に平行トレンド仮定が検証されないまま仮定されている場合に、DID推定値の有意性に対する過剰な自信を生じさせている。
• この手法により、わずかな平行トレンドからの逸脱—たとえば治療割り当てのオッズが5％シフトする—が結論を逆転させる可能性があることが示され、感受性分析の必要性が強調された。
• 著者らは、DIDを自然実験として扱うべきではなく、治療割り当てメカニズムのモデリングと未観測交絡要因に対する感受性の評価に依存する道具として扱うべきだと結論づけた。