[论文解读] Atlantic Causal Inference Conference (ACIC) Data Analysis Challenge 2017

P. Richard Hahn, Vincent Dorie+1 more|arXiv (Cornell University)|May 23, 2019

Advanced Causal Inference Techniques参考文献 5被引用 16

一句话总结

本文详细介绍了2017年大西洋因果推断会议（ACIC）数据解析挑战赛，该挑战赛利用从32种不同数据生成过程（DGPs）生成的8,000个合成数据集，在强混淆条件下评估了因果推断方法对条件平均处理效应（CATE）的估计表现。主要贡献是一个基准框架，揭示了将倾向得分估计整合到响应面建模中的方法表现更优，尤其是在目标选择场景下，凸显了将处理分配机制整合到结果建模中的价值。

ABSTRACT

This brief note documents the data generating processes used in the 2017 Data Analysis Challenge associated with the Atlantic Causal Inference Conference (ACIC). The focus of the challenge was estimation and inference for conditional average treatment effects (CATEs) in the presence of targeted selection, which leads to strong confounding. The associated data files and further plots can be found on the first author's web page.

研究动机与目标

• 使用真实数据生成过程在估计后已知的合成数据，对因果推断方法进行盲法实证评估。
• 评估各种CATE估计方法在强混淆和异质处理效应下的表现。
• 在存在目标选择和高混淆的场景下，建立因果推断方法的评估基准。
• 探究将倾向得分估计整合到响应面模型中是否能提高CATE估计的准确性和区间覆盖度。

提出的方法

• 挑战赛使用32种固定的数据生成过程（DGPs），其处理效应依赖于协变量，通过潜在结果和处理分配的结构方程定义。
• 每个DGP被独立模拟250次，共生成8,000个独立数据集，其中效应大小、混淆强度和噪声水平存在差异。
• 响应变量建模为 Y_i = μ(x_i) + τ(x_i)z_i + ε_i，处理 Z_i 由 G(x_i, ν_i) 决定，其中外生误差 ν_i 和 ε_i 相互独立。
• 协变量在所有数据集中保持固定，来自婴儿健康与发展计划（IHDP），使用八个测量变量，包括母亲年龄、吸烟状况和医疗状况。
• 评估指标包括CATE估计的均方误差（MSE）、所有250次重复中的平均偏差，以及置信区间的覆盖概率。
• 方法在四类DGP类型上进行评估：加法型i.i.d.、加法型组相关、加法型异方差和非加法型i.i.d.误差，所有情况均使用高斯噪声。

实验结果

研究问题

• RQ1 在因目标选择导致的强混淆条件下，不同因果推断方法在估计CATE时表现如何？
• RQ2 将估计的倾向得分整合到结果建模中在多大程度上能提高CATE估计的准确性和区间覆盖度？
• RQ3 是否将响应面建模与倾向得分估计分开处理的方法，其表现劣于将两者整合的方法？
• RQ4 在高混淆条件下，CATE置信区间的覆盖率在不同方法和DGP类型之间如何变化？
• RQ5 在现实数据生成机制下，BART、Super Learner、X-Learner和基于梯度的方法在估计异质处理效应方面的相对优势是什么？

主要发现

• 没有任何方法在CATE置信区间上实现了95%的名义覆盖度，表明尽管使用了实际重复，仍普遍存在覆盖不足的问题。
• 明确将估计的倾向得分作为协变量整合到响应面模型中的方法——如结合倾向得分的BART、结合IPTW的BART以及贝叶斯因果森林——在目标选择制度下表现尤为出色。
• 将处理分配机制整合到结果建模中显著提升了估计的准确性和鲁棒性，尤其是在高混淆场景下。
• 在21种评估方法中，结合BART与目标学习或逆概率加权的方法表现优异，尤其在非i.i.d.误差结构下。
• X-Learner和梯度随机森林方法表现出具有竞争力的性能，尤其在处理效应异质性中等至较高的场景下。
• 本研究强调了联合建模结果和选择过程的重要性，因为分离估计会导致次优表现。