[论文解读] CausalVAE: Structured Causal Disentanglement in Variational Autoencoder

Mengyue Yang, Furui Liu+4 more|arXiv (Cornell University)|Apr 18, 2020

Topic Modeling参考文献 14被引用 15

一句话总结

CausalVAE 提出了一种变分自编码器框架，其中引入了结构因果模型（SCM）层，以从数据中学习解耦的、具有因果结构的表征，从而实现准确的因果图识别和通过 do-操作的反事实生成。该模型通过强制执行DAG结构并利用弱监督，实现了最先进水平的解耦性能。在合成数据和CelebA数据集上的实证验证表明，其表征具有高度语义可解释性和因果保真度。

ABSTRACT

Learning disentanglement aims at finding a low dimensional representation which consists of multiple explanatory and generative factors of the observational data. The framework of variational autoencoder (VAE) is commonly used to disentangle independent factors from observations. However, in real scenarios, factors with semantics are not necessarily independent. Instead, there might be an underlying causal structure which renders these factors dependent. We thus propose a new VAE based framework named CausalVAE, which includes a Causal Layer to transform independent exogenous factors into causal endogenous ones that correspond to causally related concepts in data. We further analyze the model identifiabitily, showing that the proposed model learned from observations recovers the true one up to a certain degree by providing supervision signals (e.g. feature labels). Experiments are conducted on various datasets, including synthetic and real word benchmark CelebA. Results show that the causal representations learned by CausalVAE are semantically interpretable, and their causal relationship as a Directed Acyclic Graph (DAG) is identified with good accuracy. Furthermore, we demonstrate that the proposed CausalVAE model is able to generate counterfactual data through "do-operation" to the causal factors.

研究动机与目标

• 为解决现有解耦表征学习方法假设各因子独立的局限性，此类假设在存在因果依赖的真实世界场景中往往失效。
• 开发一种深度生成模型，从观测数据中学习具有因果关联且语义有意义的因子，而无需预先知晓因果结构。
• 通过在学习到的因果因子上执行 'do-操作'，实现反事实生成，支持因果推理和 '如果...会怎样' 分析。
• 为模型在弱监督下的可识别性提供理论依据，表明可在一定程度上恢复真实的因果结构。
• 在合成数据和真实世界基准（如 CelebA）上展示该框架的有效性，辅以定量与定性评估。

提出的方法

• 提出一种新型因果层（SCM 层），通过学习到的DAG结构将独立的外生潜在因子转换为内生的、具有因果关联的表征。
• 采用改进的 VAE 目标函数，并在因果图上增加无环性约束，以确保学习到的结构为有效的有向无环图（DAG）。
• 使用增广拉格朗日法优化无环性约束，实现因果图的可微训练。
• 通过真实概念标签的弱监督引导解耦，提升因果因子的可识别性。
• 通过操纵 SCM 层的输入和输出节点，对干预后的潜在码执行 'do-操作'，实现反事实图像生成。
• 采用预训练阶段初始化因果邻接矩阵，以提升学习到的因果图的收敛速度与准确性。

实验结果

研究问题

• RQ1 基于 VAE 的框架能否学习到反映潜在因果关系而非假设统计独立性的解耦表征？
• RQ2 所提出的 CausalVAE 模型能否从观测数据中准确识别出真实的因果结构（DAG）？
• RQ3 学习到的因果表征能否通过 do-操作支持有意义的反事实生成？
• RQ4 CausalVAE 在语义可解释性以及与真实概念标签的对齐程度方面，相较于现有解耦 VAE 表现如何？
• RQ5 弱监督在多大程度上提升了学习到的因果表征的可识别性与保真度？

主要发现

• CausalVAE 有效学习到与真实底层结构高度匹配的因果DAG，其邻接矩阵在训练过程中快速收敛。
• 在 CelebA 数据集上，CausalVAE 在学习到的表征与真实概念标签之间的互信息（MIC/TIC）达到最高值，显著优于所有基线模型。
• 干预实验表明，操纵原因因子（如微笑）能正确改变其结果（如嘴巴张开），而操纵结果则对原因无影响，验证了因果结构的保真度。
• 通过 do-操作生成的反事实图像语义连贯，且符合物理规律，例如阴影长度能随摆锤角度正确变化。
• 在 Pendulum 数据集上，CausalVAE 在不同图像中保持一致的操纵效果，而 ConditionVAE 无法有效传播变化，表明其具备更优的模块化与因果推理能力。
• 理论分析表明，在弱监督条件下，模型在一定程度上具备可识别性，为真实因果因子的恢复提供了理论依据。