[论文解读] A Survey on Causal Inference

Liuyi Yao, Zhixuan Chu+4 more|arXiv (Cornell University)|Feb 5, 2020

Advanced Causal Inference Techniques参考文献 147被引用 24

一句话总结

本综述全面回顾了潜在结果框架下的因果推断方法，根据其是否依赖于三个核心假设（SUTVA、一致性、忽略性）对方法进行分类。它比较了传统统计方法与现代机器学习增强方法在从观察数据中估计平均和个体处理效应方面的表现，应用领域涵盖广告、医疗保健、教育和强化学习，并整理了基准数据集和开源工具以支持可复现性和评估。

ABSTRACT

Causal inference is a critical research topic across many domains, such as statistics, computer science, education, public policy and economics, for decades. Nowadays, estimating causal effect from observational data has become an appealing research direction owing to the large amount of available data and low budget requirement, compared with randomized controlled trials. Embraced with the rapidly developed machine learning area, various causal effect estimation methods for observational data have sprung up. In this survey, we provide a comprehensive review of causal inference methods under the potential outcome framework, one of the well known causal inference framework. The methods are divided into two categories depending on whether they require all three assumptions of the potential outcome framework or not. For each category, both the traditional statistical methods and the recent machine learning enhanced methods are discussed and compared. The plausible applications of these methods are also presented, including the applications in advertising, recommendation, medicine and so on. Moreover, the commonly used benchmark datasets as well as the open-source codes are also summarized, which facilitate researchers and practitioners to explore, evaluate and apply the causal inference methods.

研究动机与目标

• 提供潜在结果框架下因果推断方法的系统性且最新的综述。
• 根据现有方法对三个核心假设（SUTVA、一致性、忽略性）的依赖程度进行分类。
• 比较传统统计方法与近期机器学习增强方法在处理效应估计方面的表现。
• 总结因果推断在广告、医学、教育和推荐系统等现实领域中的应用。
• 整理基准数据集和开源实现，以支持可复现性和实际应用。

提出的方法

• 将因果推断方法分为两类：依赖潜在结果框架全部三个假设的方法，以及放宽一个或多个假设的方法。
• 回顾传统方法，如逆概率加权（IPW）、双重稳健估计，以及平衡方法（如CBPS）。
• 研究机器学习增强技术，包括表示学习、基于GAN的方法（如GANITE），以及用于个体处理效应（ITE）的神经网络估计器。
• 提出对混杂因素鲁棒的策略学习框架，通过在不确定的倾向得分权重集合上进行优化，以处理未观测到的混杂因素。
• 介绍正则化技术，如基于CBPS的平衡正则化，通过重加权样本以减少训练中的选择偏差，从而提高模型泛化能力。
• 总结关键评估指标和基准测试，包括Jobs、IHHP和Criteo等数据集，以及开源代码仓库。

实验结果

研究问题

• RQ1 在从观察数据中估计平均和个体处理效应方面，传统统计方法与现代机器学习方法有何比较？
• RQ2 放宽三个核心假设（SUTVA、一致性、忽略性）对因果推断有何影响，相关方法如何适应此类放宽？
• RQ3 因果推断方法在广告、医疗保健和教育等现实领域中，如何用于改善决策制定？
• RQ4 在策略学习和处理效应估计中，如何应对未观测到的混杂因素，哪些框架可确保鲁棒性？
• RQ5 存在哪些公开可用的数据集和开源工具，可支持因果推断研究中的可复现性和基准测试？

主要发现

• 潜在结果框架仍是因果推断的基石性方法，尤其在从观察数据中估计平均和个体处理效应方面被广泛使用。
• 机器学习增强方法（如GANITE和表示学习）通过建模数据中复杂且高维的关系，提升了个体处理效应（ITE）的估计性能。
• 双重稳健方法结合结果回归模型与倾向得分模型，可降低偏差并提高估计稳定性，尤其在其中一个模型误设时表现更优。
• 对混杂因素鲁棒的策略学习框架可通过在不确定的倾向得分权重集合上进行优化，减轻未观测混杂因素带来的危害。
• 基于CBPS等方法导出的平衡正则化可通过对样本进行重加权，减少训练中的选择偏差，从而提升模型泛化能力。
• 整理的基准数据集（如Jobs、IHHP、Criteo）和开源实现，有助于促进因果推断研究中的可复现性和跨方法评估。