[論文レビュー] An Exact and Robust Conformal Inference Method for Counterfactual and Synthetic Controls

Victor Chernozhukov, Kaspar Wüthrich+1 more|arXiv (Cornell University)|Dec 25, 2017

Advanced Causal Inference Techniques被引用数 15

ひとこと要約

本稿は、弱い条件下でも正確で頑健かつモデルフリーな推論を保証する、反事後および合成コントロール分析のための新規な順応的推論手法を提案する。因果推論を予測および構造的変化の検定問題に再定式化することで、残差からの置換に基づくp値を用い、モデルの誤指定下でも有限標本における有効な推論を実現する。因子モデル、制約付きlassoなど多様な推定量に対して、小標本でも優れた性能を示す。

ABSTRACT

We introduce new inference procedures for counterfactual and synthetic control methods for policy evaluation. We recast the causal inference problem as a counterfactual prediction and a structural breaks testing problem. This allows us to exploit insights from conformal prediction and structural breaks testing to develop permutation inference procedures that accommodate modern high-dimensional estimators, are valid under weak and easy-to-verify conditions, and are provably robust against misspecification. Our methods work in conjunction with many different approaches for predicting counterfactual mean outcomes in the absence of the policy intervention. Examples include synthetic controls, difference-in-differences, factor and matrix completion models, and (fused) time series panel data models. Our approach demonstrates an excellent small-sample performance in simulations and is taken to a data application where we re-evaluate the consequences of decriminalizing indoor prostitution. Open-source software for implementing our conformal inference methods is available.

研究の動機と目的

• 反事後および合成コントロール（CSC）手法を用いた政策評価のための汎用的で頑健な推論手順の開発。
• 反事後結果のモデルが誤指定されている場合でさえも、弱く検証可能な条件下で有効な推論を保証すること。
• 因子モデル、行列補完、制約付きlassoなどの現代的高次元推定量を用いた推論を可能にすること。
• 漸近的近似よりも優れた有限標本（非漸近的）有効性を実現すること。
• provable な頑健性を備えた単一の順応的推論フレームワークの下で、既存のCSC手法を統一的かつ一般化すること。

提案手法

• 因果推論問題を反事後予測および構造的変化の検定問題に再定式化する。
• 時間的ブロックごとに推定された残差をランダムにシャッフルすることで、置換に基づくp値を計算する。
• きわめて明確な帰無仮説の下で、治療後残差の分布を治療前残差と比較して検定統計量を構築する。
• 2つの条件下で有効性を保証する：(1) 推定量の一貫性と弱い自己相関を持つ誤差、または (2) 推定量の安定性と誤指定下での定常的データ。
• 合成コントロール、差の差分、因子モデル、行列補完、インタラクティブ固定効果モデルなど、多様なCSC推定量にこの手法を適用する。
• 推論の逆転を用いて、各期間ごとの政策効果の点推定信頼区間を構築する。

実験結果

リサーチクエスチョン

• RQ1 反事後および合成コントロールのための汎用的推論手法を開発できるか。その有効性は、弱く検証可能な正則性条件のもとで保証されるか？
• RQ2 高次元CSC設定において、モデルの誤指定に対してどのようにして頑健性を確保できるか？
• RQ3 特に標本サイズが小さい場合に、政策効果の推論に対して有限標本の有効性を達成できるか？
• RQ4 本手法は、合成コントロール、因子モデル、制約付きlassoなどの多様な推定量において、どのように性能を発揮するか？
• RQ5 本手法は、構造的変化の検出およびきわめて明確な帰無仮説の検定において、実証的にどの程度の性能を示すか？

主な発見

• 本手法は、前処理期間数 $T_0 \to \infty$ の下で、正確な有限標本の有効性を達成し、サイズの正確性に関する非漸近的バインドを提供する。
• 推定量の一貫性と弱い自己相関誤差の下では、シミュレーションにおいてすべてのDGP設計と $T_0$ の値で、正しいサイズ（例えば、名目水準 $\alpha=0.1$ で 0.10–0.12）を維持する。
• モデルの誤指定下でも、推定量が安定しておりデータが定常的である限り、有効性が保たれ、DGP2およびDGP3ではサイズが名目水準に近く（例：0.08–0.12）なる。
• 自己相関誤差（$\rho_u = 0.6$）を伴う設定では、本手法は良好なサイズ制御（例：0.10–0.12）を維持し、従来の手法と比較して優れた頑健性を示す。
• 構造的変化の検出においては高いパワーを示し、AR(1)誤差下のDGP4では、$T_0$ が20から100に増加するにつれて、棄却率が0.35から0.89に上昇する。
• 屋内売春の違法性撤廃政策への実証的応用により、本手法の実世界での政策評価における実用的価値と頑健性が示された。