[论文解读] Evaluating Ex Ante Counterfactual Predictions Using Ex Post Causal Inference

Michael Gechter, Cyrus Samii+2 more|arXiv (Cornell University)|Jun 19, 2018

Advanced Causal Inference Techniques参考文献 64被引用 10

一句话总结

本文提出一个决策理论框架，通过随机实验的事后因果推断，评估最优治疗方案的前瞻性反事实预测。该框架能够基于现实世界实验环境中的福利表现，对方法（如结构模型、简化形式外推和专家意见）进行统计比较，表明当适当地聚合时，外部实验数据可提供比上下文内模型估计更可靠的政策建议。

ABSTRACT

We derive a formal, decision-based method for comparing the performance of counterfactual treatment regime predictions using the results of experiments that give relevant information on the distribution of treated outcomes. Our approach allows us to quantify and assess the statistical significance of differential performance for optimal treatment regimes estimated from structural models, extrapolated treatment effects, expert opinion, and other methods. We apply our method to evaluate optimal treatment regimes for conditional cash transfer programs across countries where predictions are generated using data from experimental evaluations in other countries and pre-program data in the country of interest.

研究动机与目标

• 开发一个正式的、基于福利的框架，用于评估生成前瞻性治疗分配政策建议的方法的相对表现。
• 评估结构模型、简化形式外推和专家意见等方法在预测最优治疗方案时，其表现差异的统计显著性。
• 评估在模型误设存在的情况下，来自相似情境的外部实验数据是否能优于上下文内模型估计，以预测最优政策。
• 为政策评估中的方法选择提供一个基于福利目标的、有原则的、以决策为导向的基础，而非纯粹基于统计拟合度。
• 证明单个实验所包含的决策相关信息，远超单一平均处理效应估计值，尤其在跨情境聚合时更为显著。

提出的方法

• 该框架使用线性社会福利函数来评估治疗方案建议，规划者在约束条件下选择政策以最大化期望福利。
• 通过福利差异度量 Δ^g_lm 来比较方法，该度量定义为两种政策建议方法 l 和 m 之间预期福利差异，权重为潜在结果函数 g。
• 该方法采用逆概率加权法，利用观测数据估计福利差异，通过倾向得分 p(W_i) 调整选择概率。
• 利用广义矩法（GMM）建立渐近正态性和推断，一致的方差估计量由福利差异的得分方程导出。
• 该方法允许通过将前瞻性预测的最优方案与目标情境中随机实验的实际结果进行比较，实现对前瞻性预测的事后评估。
• 该框架被扩展以纳入基于福利表现的模型平均或选择，并在多情境应用中考虑站点选择偏差。

实验结果

研究问题

• RQ1 能否利用随机实验的事后因果推断，对不同前瞻性预测方法在最优治疗方案预测中的相对表现进行统计评估？
• RQ2 当与实际实验结果对比时，结构模型、简化形式外推和专家意见在预测福利最大化的治疗分配方面表现如何比较？
• RQ3 在模型误设存在的情况下，来自相似情境的外部实验数据在预测最优政策方面，能多大程度上优于上下文内模型估计？
• RQ4 基于福利目标的决策理论框架是否能为方法选择提供比传统统计拟合度度量更合理的依据？
• RQ5 单个实验中所包含的决策相关信息，除了平均处理效应之外，其范围有多大？如何在不同情境间实现聚合？

主要发现

• 所提出的方法为两种政策建议方法之间的福利差异提供了具有一致性和渐近正态性的估计量，从而能够对它们的相对表现进行统计推断。
• 事后评估表明，当上下文内结构模型因模型误设而表现不佳时，基于外部实验数据的简化形式方法即使在内部有效，仍可能优于这些模型。
• 该框架表明，依赖外部数据的方法在福利表现上可优于上下文内模型，尤其在目标情境中预处理数据有限或识别能力弱的情况下。
• 该方法表明，每个随机实验所包含的决策相关信息，远超单一平均处理效应，尤其在建模治疗反应异质性时更为显著。
• 基于本框架中导出的福利准则进行模型平均或选择，可带来优于标准方法的预测性能。
• 该方法为政策建议方法的排序提供了有原则的方式，且结果对福利目标的选择敏感，凸显了明确定义社会规划者目标的重要性。