[论文解读] Causal Machine Learning: A Survey and Open Problems

Jean Kaddour, Aengus Lynch+3 more|arXiv (Cornell University)|Jun 30, 2022

Bayesian Modeling and Causal Inference被引用 87

一句话总结

这篇论文综述因果机器学习（CausalML），将工作分为五个问题领域，回顾应用与基准测试，并概述跨因果性、学习、解释、公平性和强化学习的开放问题。

ABSTRACT

Causal Machine Learning (CausalML) is an umbrella term for machine learning methods that formalize the data-generation process as a structural causal model (SCM). This perspective enables us to reason about the effects of changes to this process (interventions) and what would have happened in hindsight (counterfactuals). We categorize work in CausalML into five groups according to the problems they address: (1) causal supervised learning, (2) causal generative modeling, (3) causal explanations, (4) causal fairness, and (5) causal reinforcement learning. We systematically compare the methods in each category and point out open problems. Further, we review data-modality-specific applications in computer vision, natural language processing, and graph representation learning. Finally, we provide an overview of causal benchmarks and a critical discussion of the state of this nascent field, including recommendations for future work.

研究动机与目标

• 为机器学习研究人员提供一个最小、独立的因果性入门。
• 对因果机器学习工作进行五类问题的分类，并在每一类内比较方法。
• 评审面向模态的应用（计算机视觉、自然语言处理、图学习）及因果基准。
• 讨论因果机器学习在实践中的收益、挑战以及开放的研究问题。
• 提出对未来工作和领域方向的建议。

提出的方法

• 介绍关键因果性概念和标准形式（贝叶斯网络、图形因果模型、结构化因果模型 SCM）。
• 定义干预（do 算子）和反事实，并解释因果阶梯。
• 描述独立机制以及支撑 SCM 的结构假设。
• 提供因果机器学习类别的分类法：因果监督学习、因果生成建模、因果解释、因果公平性，以及因果强化学习。
• 对计算机视觉、自然语言处理和图表示学习中的应用进行综述。
• 总结因果基准和领域现状，包括好的、坏的、丑的考量。

实验结果

研究问题

• RQ1 核心的因果性形式主义是什么，它们如何将干预和反事实具体化？
• RQ2 我们如何对现有的因果机器学习方法进行分类，并在每一类中比较方法？
• RQ3 跨模态推动因果机器学习的关键应用与基准是什么？
• RQ4 在因果性、学习、解释、公平性和强化学习领域出现了哪些开放问题与未来方向？

主要发现

• 该论文为ML研究人员提供了一个最小、独立的因果性入门。
• 它提出一个分类法，将因果机器学习工作分为五个问题类，并在每一类内系统性比较方法。
• 它评审面向模态的应用（计算机视觉、自然语言处理、图学习）和因果基准。
• 它讨论在实际应用中采用因果机器学习的优点与挑战（好/坏/丑）。
• 它强调开放问题并为未来研究方向提供指南。