[论文解读] High Fidelity Image Counterfactuals with Probabilistic Causal Models

Fabio De Sousa Ribeiro, Tian Xia+3 more|arXiv (Cornell University)|Jun 27, 2023

Machine Learning in Healthcare被引用 4

一句话总结

本文提出一种基于概率结构因果模型的深度生成因果框架，用于生成高保真度图像反事实样本，结合因果中介分析与变分推断。该方法可准确估计图像数据中的直接效应、间接效应和总效应，并在医学影像基准测试中通过有效性和组合性等公理性质验证了其因果合理性。

ABSTRACT

We present a general causal generative modelling framework for accurate estimation of high fidelity image counterfactuals with deep structural causal models. Estimation of interventional and counterfactual queries for high-dimensional structured variables, such as images, remains a challenging task. We leverage ideas from causal mediation analysis and advances in generative modelling to design new deep causal mechanisms for structured variables in causal models. Our experiments demonstrate that our proposed mechanisms are capable of accurate abduction and estimation of direct, indirect and total effects as measured by axiomatic soundness of counterfactuals.

研究动机与目标

• 为解决在高维结构化数据（如医学影像扫描）中准确估计高保真度反事实图像的挑战。
• 在深度生成框架中利用因果中介分析，实现对图像变量的直接效应、间接效应和总效应的估计。
• 确保反事实样本满足公理性质——有效性与组合性，从而验证其因果合理性。
• 支持在可解释性、数据增强、公平性及安全性关键领域（如医学影像）中的应用。
• 通过满足Pearl因果阶梯的全部三个层级——关联、干预与反事实推理，弥合深度学习的差距。

提出的方法

• 该框架采用马尔可夫概率因果模型，包含内生变量（如图像）与外生噪声变量，通过有向无环图（DAGs）进行结构化建模。
• 引入基于变分自编码器（HVAEs）的深度因果机制以实现图像生成，采用端到端训练与结构赋值。
• 父变量预测器通过多层感知机（MLPs）或卷积神经网络（CNNs）在反因果方向（从子变量到父变量）进行训练，以从图像观测中推断潜在属性。
• 通过拉格朗日公式进行约束优化，实现反事实生成，同时在保持图像保真度的前提下强制执行干预约束。
• 推理过程中使用模型参数的指数移动平均，并在训练中应用数据增强（如随机裁剪、翻转）。
• 关键创新在于：为反事实训练与评估分别独立训练反因果预测器，以防止捷径学习。

实验结果

研究问题

• RQ1 深度生成模型能否生成满足因果公理性质的高保真度图像反事实？
• RQ2 在图像层面变量上，利用因果中介分析能否准确估计直接效应、间接效应和总效应？
• RQ3 与先前方法相比，所提出的框架在反事实有效性与组合性方面改善程度如何？
• RQ4 在数据稀缺的医学影像场景中，模型能否生成合理的反事实样本，且具备最少的虚假相关性？
• RQ5 使用反因果父变量预测器是否能减轻反事实训练过程中的捷径学习？

主要发现

• 所提出的框架在脑部MRI与胸部X光数据集上实现了高保真度的反事实生成，定性结果表明图像编辑合理可信。
• 在UK Biobank数据上，性别预测器的ROCAUC为0.9764 ± 2e-3，MRI预测器的ROCAUC达到完美值1.0，表明父变量属性推断能力强大。
• UK Biobank中年龄预测器的平均绝对误差（MAE）为4.847 ± 7e-4年，表现出精确的回归性能。
• 脑部体积与脑室体积预测器的MAE分别为26.77 ± 0.39 ml与1.958 ± 3e-2 ml，显示出高精度的体积估计能力。
• 在MIMIC-CXR数据上，性别、种族与疾病预测器的ROCAUC分别为0.9950、0.7496与0.9419，表明在多样化临床属性上表现优异。
• 反事实训练在脑部MRI上约10,000次迭代、在胸部X光上约6,500次迭代内收敛，且使用拉格朗日公式实现稳定优化。