[论文解读] CITRIS: Causal Identifiability from Temporal Intervened Sequences

Phillip Lippe, Sara Magliacane+4 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

CITRIS 提出了一种变分自编码器框架，能够从已知干预的图像时序序列中识别并解耦多维因果因子。通过利用干预目标和归一化流，即使仅对因果因子的部分组件进行干预，也能实现可识别的、解耦的表征，优于先前的方法，并在使用预训练自编码器时可泛化至未见的因子实例。

ABSTRACT

Understanding the latent causal factors of a dynamical system from visual observations is considered a crucial step towards agents reasoning in complex environments. In this paper, we propose CITRIS, a variational autoencoder framework that learns causal representations from temporal sequences of images in which underlying causal factors have possibly been intervened upon. In contrast to the recent literature, CITRIS exploits temporality and observing intervention targets to identify scalar and multidimensional causal factors, such as 3D rotation angles. Furthermore, by introducing a normalizing flow, CITRIS can be easily extended to leverage and disentangle representations obtained by already pretrained autoencoders. Extending previous results on scalar causal factors, we prove identifiability in a more general setting, in which only some components of a causal factor are affected by interventions. In experiments on 3D rendered image sequences, CITRIS outperforms previous methods on recovering the underlying causal variables. Moreover, using pretrained autoencoders, CITRIS can even generalize to unseen instantiations of causal factors, opening future research areas in sim-to-real generalization for causal representation learning.

研究动机与目标

• 从仅部分组件被干预的时序序列中识别多维因果因子。
• 开发一种方法，通过利用干预目标和时序动态来解耦因果因子。
• 通过扩展至预训练自编码器，实现在未见因果因子实例上的泛化能力。
• 在仅部分因果因子组件受影响的一般设置下，证明可识别性。
• 提供一个实用框架，将预训练自编码器的纠缠表征映射到因果解耦的潜在空间。

提出的方法

• CITRIS 使用一种以干预目标条件化先验的变分自编码器（VAE），学习解耦的潜在表征。
• 引入归一化流，将预训练自编码器的纠缠潜在表征映射到因果解耦的表征。
• 该框架将因果因子建模为多维向量，支持宏观变量级别的解耦。
• 假设为一阶马尔可夫、平稳的动态贝叶斯网络，且无瞬时影响。
• 模型识别出最小因果变量——即仅受干预影响的变量——并将未受影响的信息归入单独的潜在组。
• 该方法在已知干预目标的图像序列上进行训练，使在标准因果假设下实现因果可识别性。

实验结果

研究问题

• RQ1 即使仅因果因子的部分组件受影响，能否从具有部分干预的时序序列中识别出多维因果因子？
• RQ2 如何设计一种变分自编码器，以利用干预目标和时序动态来解耦因果因子？
• RQ3 归一化流能否有效将预训练自编码器的纠缠表征映射到因果解耦的潜在空间？
• RQ4 当使用预训练模型时，该框架是否能泛化至未见的因果因子实例？
• RQ5 在现实视觉动态下，该方法是否具有可识别性并能稳健恢复最小因果变量？

主要发现

• CITRIS 有效解耦了因果因子，如盒子身份（ball_b）和内部小球位置（ball_xin），潜在空间与 ball_xin 之间的 R² 相关系数达到 0.99。
• 潜在空间与 ball_b 之间的相关性接近零（0.00），证实仅受干预影响的组件被保留在因果因子中。
• 在 Ball-in-Boxes 实验中，CITRIS-VAE 的平均三元组评估距离为 0.01，表明解耦质量极高。
• 归一化流组件使在使用预训练自编码器时，能够泛化至未见的因果因子实例。
• 相关性矩阵的可视化证实，潜在维度被正确分配：ball_xin 被归入 z_ψ₀，而 ball_b 则被隔离为独立因子。
• 该框架在仅部分因果因子组件被干预的一般设置下证明了可识别性，扩展了先前对标量因子的研究。