[论文解读] Causal Effect Estimation: Recent Advances, Challenges, and Opportunities

Zhixuan Chu, Jianmin Huang+3 more|arXiv (Cornell University)|Feb 2, 2023

Advanced Causal Inference Techniques被引用 4

一句话总结

本综述通过分析处理、协变量和结果三个核心组成部分，综合了因果效应估计领域的最新进展、挑战与机遇。它将传统因果推断方法与现代机器学习技术（如表示学习、对抗学习和图神经网络）相结合，以应对高维、异质性观察数据中的局限性，同时识别出选择偏差、正性违反和领域不变性约束等关键挑战。

ABSTRACT

Causal inference has numerous real-world applications in many domains, such as health care, marketing, political science, and online advertising. Treatment effect estimation, a fundamental problem in causal inference, has been extensively studied in statistics for decades. However, traditional treatment effect estimation methods may not well handle large-scale and high-dimensional heterogeneous data. In recent years, an emerging research direction has attracted increasing attention in the broad artificial intelligence field, which combines the advantages of traditional treatment effect estimation approaches (e.g., propensity score, matching, and reweighing) and advanced machine learning approaches (e.g., representation learning, adversarial learning, and graph neural networks). Although the advanced machine learning approaches have shown extraordinary performance in treatment effect estimation, it also comes with a lot of new topics and new research questions. In view of the latest research efforts in the causal inference field, we provide a comprehensive discussion of challenges and opportunities for the three core components of the treatment effect estimation task, i.e., treatment, covariates, and outcome. In addition, we showcase the promising research directions of this topic from multiple perspectives.

研究动机与目标

• 解决传统处理效应估计方法在处理大规模、高维和异质性观察数据时的局限性。
• 识别并分析由复杂处理类型、混杂协变量和结果分布不平衡引发的处理效应估计中的新兴挑战。
• 探索将机器学习技术（如表示学习和对抗学习）与因果推断框架相结合，以提高估计精度和鲁棒性。
• 挑战表示学习中领域不变性的假设，特别是在正性违反和部分领域重叠的情况下。
• 提出一种统一范式，放宽严格的领域不变性要求，避免在处理效应估计中造成预测信息损失。

提出的方法

• 将处理类型分类为二值、多值、连续标量、序列和结构化处理（如图、图像、文本），并回顾各类处理的方法。
• 分析协变量类型，包括可观测和隐藏混杂因素、调整变量、工具变量和虚假变量，重点强调表示解缠和特征选择。
• 回顾通过领域自适应原则减轻选择偏差的结果估计技术，包括分布距离最小化（如Wasserstein距离、MMD）和局部相似性保持。
• 提出通过全局特征、个体特征与处理预测之间互信息最大化实现的Infomax和领域无关表示学习。
• 使用反事实方差和互信息等指标评估领域不变性约束，认为严格不变性可能移除预测信息。
• 提出一种统一框架，通过避免过度约束的领域不变性，放松正性和充分支持假设，从而实现更好的预测性能。

实验结果

研究问题

• RQ1 如何有效结合机器学习方法与传统因果推断，以提升高维观察数据中处理效应估计的性能？
• RQ2 在统一因果框架中，建模多样化处理类型（如连续、序列和结构化处理）的关键挑战是什么？
• RQ3 如何通过表示解缠和特征选择有效处理混杂变量，包括隐藏和虚假混杂因素？
• RQ4 在表示学习中强制实施领域不变性在多大程度上会损害处理效应估计的预测能力？
• RQ5 能否开发一种统一范式，避免严格领域不变性的陷阱，同时在正性违反和分布偏移下保持鲁棒性？

主要发现

• 依赖领域不变性的传统领域自适应方法（如通过MMD或Wasserstein距离）往往移除预测信息，尽管能平衡处理组与对照组，但会降低模型性能。
• 在高维数据中，由于冗余或无关特征使处理组得以区分，正性假设常被违反，从而破坏标准因果估计器的有效性。
• 强制实施严格领域不变性的方法（如使用分布距离）过于受限，在处理组与对照组仅部分重叠时会失效。
• 提出反事实方差作为分布不变性的更灵活替代指标，能更好地契合现实数据约束。
• 基于互信息的表示学习（如Infomax）能捕捉处理组与对照组之间的共同预测信息，同时保持局部相似性和预测能力。
• 实证证据表明，仅在事实数据上训练的模型通常优于使用领域不变表示的模型，表明当预测特征被移除时，强制不变性可能具有破坏性。