[论文解读] Causal Adversarial Network for Learning Conditional and Interventional Distributions

Raha Moraffah, Bahman Moraffah+3 more|arXiv (Cornell University)|Aug 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 6

一句话总结

本文提出了一种可扩展的因果对抗网络（CAN），该网络从数据中学习因果关系，以生成高保真度的条件图像和干预图像，而无需预定义的因果图。CAN采用两阶段架构：标签生成网络（LGN）用于推断标签之间的因果依赖关系，以及条件图像生成网络（CIGN）用于基于标签和像素生成图像，从而实现基于干预的采样以应对“如果……会怎样”的情景。实验结果表明，CAN在CelebA数据集上的表现优于CausalGAN和AC-GAN。

ABSTRACT

We propose a generative Causal Adversarial Network (CAN) for learning and sampling from conditional and interventional distributions. In contrast to the existing CausalGAN which requires the causal graph to be given, our proposed framework learns the causal relations from the data and generates samples accordingly. The proposed CAN comprises a two-fold process namely Label Generation Network (LGN) and Conditional Image Generation Network (CIGN). The LGN is a GAN-based architecture which learns and samples from the causal model over labels. The sampled labels are then fed to CIGN, a conditional GAN architecture, which learns the relationships amongst labels and pixels and pixels themselves and generates samples based on them. This framework is equipped with an intervention mechanism which enables. the model to generate samples from interventional distributions. We quantitatively and qualitatively assess the performance of CAN and empirically show that our model is able to generate both interventional and conditional samples without having access to the causal graph for the application of face generation on CelebA data.

研究动机与目标

• 解决现有条件GAN将标签视为独立的问题，从而导致不现实的样本组合（例如，女性留有胡子）。
• 通过建模do-演算干预而非单纯条件化，实现从干预分布中生成图像，以回答“如果……会怎样”的问题。
• 开发一种可扩展的端到端框架，能够从数据中学习因果图，无需事先了解因果结构。
• 通过学习因果模型来建模标签依赖关系，从而提升条件图像生成中样本的多样性和真实感。

提出的方法

• CAN框架由两部分组成：基于GAN的标签生成网络（LGN），用于学习并从离散标签的因果模型中采样。
• LGN从数据中推断标签之间的因果结构，使模型能够生成与潜在因果关系一致的标签组合。
• 条件图像生成网络（CIGN）是一种条件GAN变体，其输入为生成的标签和像素级特征，用于生成同时依赖于标签和像素的逼真图像。
• 在LGN中集成了干预机制，支持对标签进行do-干预，从而实现从干预分布中生成图像，其中干预仅影响因果图中的后代节点。
• 该框架通过对抗损失（用于图像生成）和因果一致性损失（用于保持标签生成中的结构关系）进行端到端训练。
• 因果图通过LGN从数据中发现，结果如图5所示，展示了诸如Male → Mustache 和 Young → Bald 等学习到的关系。

实验结果

研究问题

• RQ1 深度生成模型能否在无需预定义因果图的前提下，从数据中学习多个离散标签之间的因果结构？
• RQ2 与标准cGAN相比，基于GAN的框架在生成依赖于多个相互关联标签的逼真图像方面表现如何？
• RQ3 该模型能否生成合理的干预样本（例如，“如果这个人留了胡子会怎样？”），其结果是否符合do-演算的语义而非仅基于条件化？
• RQ4 学习标签依赖关系是否能提升条件图像生成任务中生成图像的真实感和多样性？
• RQ5 在图像质量与标签一致性方面，所提出的CAN与CausalGAN和AC-GAN相比，在定量和定性层面表现如何？

主要发现

• CAN在CelebA数据集的全部9个标签上，GAN-train和GAN-test指标上均优于CausalGAN和AC-GAN，其中‘Male’标签的平均GAN-train得分为86.56，GAN-test得分为88.12。
• 对于‘Mustache’标签，CAN的GAN-train得分为90.15，GAN-test得分为90.74，显著优于CausalGAN（82.66和59.32）与AC-GAN（88.58和57.98）。
• LGN在CelebA上学习到了合理的因果图，包括Male → Mustache、Male → Bald 和 Young → Bald 等预期关系，如图5所示。
• 在Alarm数据集上的标签生成评估中，LGN的均方误差_p（MSE_p）为4.1×10⁻⁴，优于MC-WGAN-GP的4.8×10⁻⁴，表明其具有更优的标签一致性。
• 图3和图4的定性结果表明，对‘Mustache’进行干预可生成男性和女性均留胡子的样本（符合do-演算逻辑），而单纯条件化仅生成男性，验证了模型的因果推理能力。
• 该模型在条件化和干预设置下均能成功生成逼真样本，且无虚假标签组合，表明其对标签依赖关系建模有效。