[论文解读] Automated versus do-it-yourself methods for causal inference: Lessons learned from a data analysis competition

Vincent Dorie, Jennifer Hill+3 more|arXiv (Cornell University)|Jul 9, 2017

Advanced Causal Inference Techniques参考文献 46被引用 48

一句话总结

本文通过一项大规模数据分析竞赛评估了自动化与自研因果推断方法，发现能够灵活建模响应面的方法始终优于其他方法，尤其在非线性情境下表现更优。研究强调了灵活响应面建模相较于分配机制建模的优越性，并指出治疗分配与响应面之间对齐程度差是导致性能下降的主要障碍。

ABSTRACT

Statisticians have made great progress in creating methods that reduce our reliance on parametric assumptions. However this explosion in research has resulted in a breadth of inferential strategies that both create opportunities for more reliable inference as well as complicate the choices that an applied researcher has to make and defend. Relatedly, researchers advocating for new methods typically compare their method to at best 2 or 3 other causal inference strategies and test using simulations that may or may not be designed to equally tease out flaws in all the competing methods. The causal inference data analysis challenge, "Is Your SATT Where It's At?", launched as part of the 2016 Atlantic Causal Inference Conference, sought to make progress with respect to both of these issues. The researchers creating the data testing grounds were distinct from the researchers submitting methods whose efficacy would be evaluated. Results from 30 competitors across the two versions of the competition (black box algorithms and do-it-yourself analyses) are presented along with post-hoc analyses that reveal information about the characteristics of causal inference strategies and settings that affect performance. The most consistent conclusion was that methods that flexibly model the response surface perform better overall than methods that fail to do so. Finally new methods are proposed that combine features of several of the top-performing submitted methods.

研究动机与目标

• 评估一系列自动化与自研因果推断方法在类真实世界观察数据情境下的表现。
• 解决传统方法比较中存在的局限性，如参赛者数量少、模拟存在偏差以及数据生成过程缺乏代表性。
• 识别影响因果效应估计准确性和可靠性的关键数据特征与方法论特征。
• 为应用研究人员提供基于证据的指导，帮助其在复杂、真实的数据库环境中选择有效的因果推断策略。
• 展示大规模、社区驱动的竞赛作为因果推断方法评估与方法论进步工具的价值。

提出的方法

• 本研究开展了一项因果推断数据分析竞赛，名为“Is Your SATT Where It’s At?”，包含两个赛道：自动化黑箱算法与自研手动分析。
• 数据在12种不同的数据生成过程（DGPs）下生成，这些过程在治疗分配机制、响应面非线性程度以及混杂因子对齐程度方面各不相同。
• 通过偏差、均方根误差（RMSE）和置信区间覆盖度对30种竞争方法的表现进行评估。
• 事后分析同时使用了“理想情况”（已知真实数据结构）和“非理想情况”（从数据中估计）的度量，以评估方法表现并识别关键性能驱动因素。
• 评估了集成方法与基于机器学习的方法（包括BART和TMLE调整）在灵活建模响应面及提升覆盖度方面的能力。
• 竞赛设计确保了数据创建者与方法提交者之间的独立性，从而降低了评估偏差并增强了外部效度。

实验结果

研究问题

• RQ1 在多种不同的数据生成过程中，自动化与自研因果推断方法在偏差、RMSE和覆盖度方面的表现如何比较？
• RQ2 哪些方法论特征（如灵活响应面建模或分配机制建模）最能预测高性能表现？
• RQ3 响应面的非线性程度以及治疗分配机制与响应面之间的错位程度等数据特征，在多大程度上影响方法表现？
• RQ4 结合多种方法优势的集成或混合方法是否能在多样化情境下实现更优表现？
• RQ5 不同方法在置信区间覆盖度与偏差降低方面协同表现如何？哪些调整能在不增加偏差的前提下改善覆盖度？

主要发现

• 能够灵活建模响应面的方法始终优于未采用此类建模的方法，无论其是否同时建模了治疗分配机制。
• 响应面的非线性与响应面和治疗分配机制之间的错位是影响性能最严重的两个数据特征，显著增加了偏差。
• 即使仅建模响应面的方法（如BART）也优于仅关注分配机制建模的方法（如Balance Boost），表明响应面灵活性具有优先地位。
• 集成方法结合多种模型表现良好，表明利用多样化建模优势可提升方法的稳健性与准确性。
• 尽管偏差较低，但许多方法未能实现充分的置信区间覆盖度，且即使经过事后调优（如TMLE调整）也未统一改善覆盖度。
• 超过一半的方法表现差异无法由数据特征、方法特征或其交互作用解释，表明在不同数据集之间存在显著的未建模异质性。