[论文解读] Causal Deep Learning

Jeroen Berrevoets, Krzysztof Kacprzyk+2 more|arXiv (Cornell University)|Mar 3, 2023

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出了因果深度学习（CDL），一种整合了部分因果知识、参数化函数形式与时序动态的框架，旨在提升医疗、经济与环境科学等现实场景中的决策能力。通过在结构、参数与时间三个维度上构建可检验的假设，CDL 实现了在复杂高维数据场景下稳健、可解释且可泛化的因果推断。

ABSTRACT

Causality has the potential to truly transform the way we solve a large number of real-world problems. Yet, so far, its potential largely remains to be unlocked as causality often requires crucial assumptions which cannot be tested in practice. To address this challenge, we propose a new way of thinking about causality -- we call this causal deep learning. Our causal deep learning framework spans three dimensions: (1) a structural dimension, which incorporates partial yet testable causal knowledge rather than assuming either complete or no causal knowledge among the variables of interest; (2) a parametric dimension, which encompasses parametric forms that capture the type of relationships among the variables of interest; and (3) a temporal dimension, which captures exposure times or how the variables of interest interact (possibly causally) over time. Causal deep learning enables us to make progress on a variety of real-world problems by leveraging partial causal knowledge (including independencies among variables) and quantitatively characterising causal relationships among variables of interest (possibly over time). Our framework clearly identifies which assumptions are testable and which ones are not, such that the resulting solutions can be judiciously adopted in practice. Using our formulation we can combine or chain together causal representations to solve specific problems without losing track of which assumptions are required to build these solutions, pushing real-world impact in healthcare, economics and business, environmental sciences and education, through causal deep learning.

研究动机与目标

• 为弥合因果推断在现实应用中的空白，将深度学习与部分可检验的因果知识相结合。
• 构建一个统一框架，明确区分因果建模中的可检验与不可检验假设。
• 实现在具有复杂、高维且时变数据的领域中因果模型的实际部署。
• 通过定量刻画随时间演变的因果关系，支持医疗、经济与环境科学中的决策制定。
• 提供一个结构化的分类体系，用于对因果深度学习的研究进行分类与引导，涵盖不同问题类型与数据假设。

提出的方法

• CDL 沿三个维度构建模型：结构（部分因果知识，包括条件独立性）、参数（变量间关系的函数形式）与时间（变量间随时间演变的相互作用）。
• 该框架通过分布分解来编码因果假设，支持基于已知或假设的因果图构建模型。
• 它结合深度神经网络，将输入数据映射为符合预设因果结构、函数形式与时序动态的表征。
• 该方法支持模型流水线的构建，链式传递因果表征，同时追踪所需假设，确保可追溯性与可验证性。
• 可通过匹配输入假设的数据（如干预性或纵向数据）进行评估，以验证因果结构。
• 提出了一张分类图，根据输入假设（如非参数、噪声模型、完全已知函数）与表征类型对 CDL 方法进行分类，以促进方法开发与比较。

实验结果

研究问题

• RQ1 在因果假设不完整或不可检验的现实领域中，如何使因果推断具备实际可应用性？
• RQ2 深度学习在整合部分因果知识、函数形式与时序动态方面，对提升模型可解释性与鲁棒性起到何种作用？
• RQ3 当关键假设无法检验时，如何系统性地验证因果深度学习模型？
• RQ4 CDL 在超越标准准确率指标的分布外泛化、领域自适应与鲁棒性方面，可通过何种方式实现性能提升？
• RQ5 研究人员与从业者如何系统性地探索、比较并开发因果深度学习领域内的新方法？

主要发现

• CDL 提供了一个结构化框架，明确区分可检验与不可检验假设，从而支持因果模型更负责任且透明的部署。
• 通过整合部分因果结构、参数形式与时序动态，CDL 能够更准确、可解释地建模复杂系统，例如医疗领域中药物反应随时间的变化。
• 该框架支持构建保留假设可追溯性的模型流水线，增强了现实应用中可审计性与可信度。
• CDL 通过学习在不同环境中保持不变的因果表征，提升了分布外泛化、领域自适应与鲁棒性表现。
• 所提出的分类图识别出研究空白，例如缺乏对完全已知参数函数的假设方法，并为未来方法开发提供指导。
• 建议使用干预性或纵向数据进行实证验证，以支持因果结构假设，尤其在医疗与经济应用中。