[论文解读] Modeling Causal Mechanisms with Diffusion Models for Interventional and Counterfactual Queries

Patrick Chao, Patrick Blöbaum+2 more|arXiv (Cornell University)|Feb 2, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出扩散因果模型（DCM），一种新颖的框架，利用去噪扩散模型从观测数据和已知因果图中学习结构因果模型。通过将潜在编码作为外生噪声的代理，以扩散过程建模每个节点的结构方程，DCM 实现了干预下的精确采样和反事实推理，在非加性噪声模型上的表现优于最先进方法一个数量级。

ABSTRACT

We consider the problem of answering observational, interventional, and counterfactual queries in a causally sufficient setting where only observational data and the causal graph are available. Utilizing the recent developments in diffusion models, we introduce diffusion-based causal models (DCM) to learn causal mechanisms, that generate unique latent encodings. These encodings enable us to directly sample under interventions and perform abduction for counterfactuals. Diffusion models are a natural fit here, since they can encode each node to a latent representation that acts as a proxy for exogenous noise. Our empirical evaluations demonstrate significant improvements over existing state-of-the-art methods for answering causal queries. Furthermore, we provide theoretical results that offer a methodology for analyzing counterfactual estimation in general encoder-decoder models, which could be useful in settings beyond our proposed approach.

研究动机与目标

• 开发一种灵活且可扩展的框架，仅使用观测数据和因果图即可回答结构因果模型中的观测、干预和反事实查询。
• 利用扩散模型的表达能力，通过将潜在码视为未观测到的外生噪声的代理，学习因果机制。
• 通过一种确定性的、自编码器风格的扩散过程（DDIM），为干预和反事实推理提供统一方法。
• 理论上分析编码器-解码器模型中反事实估计的准确性，其边界条件可推广至非扩散模型。
• 通过多样化结构方程类型和真实世界数据，实证验证 DCM 在现有最先进方法上的优越性。

提出的方法

• 将因果图中的每个节点建模为一个条件扩散模型，以父节点值作为输入，学习将观测结果编码到潜在空间并从潜在空间解码回变量空间。
• 采用去噪扩散隐式模型（DDIM）作为基础扩散架构，通过学习到的逆过程实现确定性采样和高效推理。
• 按拓扑顺序训练 DCM，确保每个节点的扩散模型基于其父节点的值进行条件化，以模拟结构方程模型（SCM）的生成过程。
• 对于干预查询，通过固定干预变量的值并从对应扩散模型中采样来应用 do-干预。
• 对于反事实查询，通过编码观测结果至潜在空间（即“归因”），然后执行操作（对潜在空间的干预）和预测（重构）步骤。
• 利用潜在表征作为外生噪声的代理，使模型能够捕捉复杂、非参数化的结构方程。

Figure 1 : Left: Nonlinear setting (NLIN), Right: Nonadditive setting (NADD). Box plots of observational, interventional, and counterfactual queries of the ladder and random SCMs over $20$ random initializations of the model and training data.

实验结果

研究问题

• RQ1 扩散模型能否有效从观测数据和因果图中学习因果机制，以支持所有三类因果查询？
• RQ2 DCM 在干预和反事实推理中的性能与现有最先进方法相比如何，特别是在非加性噪声条件下？
• RQ3 对于编码器-解码器模型（如 DCM），反事实估计可提供哪些理论保证？
• RQ4 DCM 能否泛化至真实世界数据（如具有复杂非线性依赖关系的 fMRI 数据）？
• RQ5 DCM 中的潜在空间是否可作为外生噪声的有效代理，从而实现准确的归因和反事实推理？

主要发现

• 在 NADD 设置下，DCM 在 Y 图上的反事实和干预查询中，MSE 达到 10.42 ± 2.77，优于现有最先进方法一个数量级。
• 在半合成的 Sachs 数据集上，DCM 在 NLIN 设置下的反事实 MSE 为 0.72 ± 0.19 × 10⁻²，显著优于 VACA（17.71 ± 9.23 × 10⁻²）和 CAREFL（7.30 ± 0.95 × 10⁻²）。
• 在 Sachs 数据集的 NADD 设置下，DCM 的反事实 MSE 为 1.99 ± 2.49 × 10⁻²，优于 VACA（7.30 ± 11.57 × 10⁻²）和 CAREFL（8.30 ± 8.34 × 10⁻²）。
• 在 NLIN 设置下的 Ladder 图上，DCM 的观测 MMD 达到最低值 0.16 ± 0.11，表明其具有出色的分布保真度。
• 理论分析表明，在合理假设下，DCM 中反事实估计误差可被界定，为其他编码器-解码器模型提供通用框架。
• 在包含多种结构方程类型（线性、非线性、非加性）的合成数据集上，实证结果一致表明 DCM 在所有测试图结构中均显著优于现有方法，尤其在干预和反事实查询方面。