[论文解读] A Survey of Methods, Challenges and Perspectives in Causality

G. Gendron, Michael Witbrock+1 more|arXiv (Cornell University)|Feb 1, 2023

Bayesian Modeling and Causal Inference被引用 7

一句话总结

本综述全面概述了因果推断方法、挑战及未来方向，强调将因果推断与深度学习相结合以提升模型的泛化能力和鲁棒性。它将结构因果模型、潜在结果框架与格兰杰因果关系统一于现代深度学习技术（如图神经网络和表征学习）之中，为因果AI提供了一个统一框架，并在科学与工业领域具有广泛应用前景。

ABSTRACT

Deep Learning models have shown success in a large variety of tasks by extracting correlation patterns from high-dimensional data but still struggle when generalizing out of their initial distribution. As causal engines aim to learn mechanisms independent from a data distribution, combining Deep Learning with Causality can have a great impact on the two fields. In this paper, we further motivate this assumption. We perform an extensive overview of the theories and methods for Causality from different perspectives, with an emphasis on Deep Learning and the challenges met by the two domains. We show early attempts to bring the fields together and the possible perspectives for the future. We finish by providing a large variety of applications for techniques from Causality.

研究动机与目标

• 为解决深度学习模型在训练数据分布之外泛化能力不足的问题，通过整合因果推断原则来实现改进。
• 将结构因果模型、潜在结果框架与格兰杰因果关系等不同因果框架统一为一个连贯的综述，以供机器学习研究人员参考。
• 识别并分析将因果推断与深度学习结合的关键挑战，包括混淆因子、分布偏移及干预建模问题。
• 探索新兴技术，如神经因果模型、因果表征学习以及通过mixup进行数据增强，以提升模型鲁棒性。
• 全面综述因果推断在医疗健康、金融、神经科学和气候科学等领域的实际应用。

提出的方法

• 系统性地综述三种核心因果框架：结构因果模型（SCMs）、潜在结果框架以及时间序列数据中的格兰杰因果关系。
• 提出神经因果模型作为新框架，将SCMs与深度学习架构结合，实现端到端的因果推理。
• 回顾因果结构发现方法，包括基于约束、基于评分、非高斯、变分方法以及大语言模型增强的方法。
• 分析因果推断技术，如do-演算、重加权、匹配法和决策树，用于估计反事实与干预效应。
• 考察因果表征学习作为深度学习与因果推断之间的桥梁，重点关注表征的解耦与不变性。
• 评估数据增强技术（如ManifoldMixup）作为神经网络表征中的隐式干预，以提升泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 如何系统性地将因果推断与深度学习结合，以提升模型的泛化能力与鲁棒性？
• RQ2 在对齐因果推断与深度学习时，关键挑战是什么，特别是关于混淆因子、分布偏移及干预建模方面？
• RQ3 现代深度学习技术（如图神经网络和表征学习）如何促进因果推理？
• RQ4 在静态数据与时间序列数据中，最有效的因果结构发现与因果推断方法是什么？
• RQ5 在哪些科学领域中，基于因果的方法能显著提升模型的可解释性与性能？

主要发现

• 将因果推断与深度学习结合，可通过学习在不同数据分布下保持不变的机制，提升模型泛化能力，减少对虚假相关性的依赖。
• 神经因果模型有效结合了结构因果模型与深度学习，支持端到端学习因果效应与干预。
• 如ManifoldMixup及通过表征混合进行的数据增强等技术，可作为隐式干预，提升模型鲁棒性与少样本学习性能。
• 因果表征学习可生成解耦且不变的表征，从而提升模型的可解释性与可迁移性。
• 在医疗健康、金融、神经科学与气候科学等领域的应用表明，因果模型通过考虑混淆因子与结构性关系，可减少偏差并提高预测准确性。
• 尽管已取得进展，但在高维与非平稳设置下，可扩展的因果结构发现、反事实推理及实际部署方面仍面临挑战。