[论文解读] An Exact and Robust Conformal Inference Method for Counterfactual and Synthetic Controls

Victor Chernozhukov, Kaspar Wüthrich+1 more|arXiv (Cornell University)|Dec 25, 2017

Advanced Causal Inference Techniques被引用 15

一句话总结

本文提出了一种新颖的置信推断方法，用于反事实和合成控制分析，该方法在弱条件下可确保精确、稳健且无需模型假设的推断。通过将因果推断重新表述为预测与结构变化检测问题，该方法利用残差的置换p值，即使在模型误设情况下也能实现有效的有限样本推断，且在小样本中对各类估计器（如合成控制、因子模型和约束Lasso）均表现出色。

ABSTRACT

We introduce new inference procedures for counterfactual and synthetic control methods for policy evaluation. We recast the causal inference problem as a counterfactual prediction and a structural breaks testing problem. This allows us to exploit insights from conformal prediction and structural breaks testing to develop permutation inference procedures that accommodate modern high-dimensional estimators, are valid under weak and easy-to-verify conditions, and are provably robust against misspecification. Our methods work in conjunction with many different approaches for predicting counterfactual mean outcomes in the absence of the policy intervention. Examples include synthetic controls, difference-in-differences, factor and matrix completion models, and (fused) time series panel data models. Our approach demonstrates an excellent small-sample performance in simulations and is taken to a data application where we re-evaluate the consequences of decriminalizing indoor prostitution. Open-source software for implementing our conformal inference methods is available.

研究动机与目标

• 开发一种通用的、稳健的政策评估推断程序，用于反事实和合成控制（CSC）方法。
• 确保在模型对反事实结果的设定存在误设时，仍能在弱且可验证的条件下实现有效推断。
• 使现代高维估计器（如因子模型、矩阵填充和约束Lasso）的推断成为可能。
• 提供有限样本（非渐近）有效性，相较于传统渐近近似方法，在小样本中表现更优。
• 在统一的置信推断框架下，将现有CSC方法统一并推广，同时具备可证明的稳健性。

提出的方法

• 将因果推断问题重新表述为反事实预测与结构变化检测问题。
• 通过在时间上随机打乱估计残差的块来使用置换推断，以计算p值。
• 基于在原假设下处理后残差相对于处理前残差的分布构造检验统计量。
• 在以下两个条件下确保有效性：(1) 估计器的一致性与弱依赖误差，或 (2) 估计器的稳定性与误设下的平稳数据。
• 将该方法应用于广泛的CSC估计器，包括合成控制、双重差分法、因子模型、矩阵填充和交互固定效应模型。
• 使用检验反转法，为每期政策效应构建点态置信区间。

实验结果

研究问题

• RQ1 我们能否开发一种适用于反事实和合成控制的通用推断方法，使其在弱且可验证的正则性条件下依然有效？
• RQ2 在高维CSC设定下，如何确保对模型误设的稳健性？
• RQ3 我们能否在小样本中实现对政策效应推断的有限样本有效性，特别是当样本量较小时？
• RQ4 该方法在各类估计器（如合成控制、因子模型和约束Lasso）中的表现如何？
• RQ5 该方法在检测结构变化和检验原假设方面的实证表现如何？

主要发现

• 当预处理期数 $T_0 \to \infty$ 时，所提方法实现了精确的有限样本有效性，且对大小准确性具有非渐近界。
• 在估计器一致性和弱依赖误差条件下，该方法在所有DGP设计和 $T_0$ 值下均保持正确的大小（例如，在名义水平 $\alpha=0.1$ 下，大小为0.10–0.12）。
• 即使在模型误设情况下，当估计器稳定且数据平稳时，该方法仍保持有效性，且在DGP2和DGP3中大小接近名义水平（例如，0.08–0.12）。
• 在存在时间序列相关误差（$\rho_u = 0.6$）的情境下，该方法保持良好的大小控制（例如，0.10–0.12），且相比传统方法展现出更强的稳健性。
• 该方法在检测结构变化方面表现出强大功效，当 $T_0$ 从20增至100时，DGP4下AR(1)误差的拒绝率从0.35上升至0.89。
• 实证应用显示，该方法在实际政策评估中具有实用价值和稳健性，以室内卖淫非刑事化政策为例。