[论文解读] Learning Temporally Causal Latent Processes from General Temporal Data

Weiran Yao, Yuewen Sun+3 more|arXiv (Cornell University)|Oct 11, 2021

Bayesian Modeling and Causal Inference参考文献 38被引用 6

一句话总结

该论文提出LEAP，一种理论基础坚实的框架，通过强制执行独立噪声条件并利用基于流的先验建模非平稳性，从非线性、可逆的观测时间数据混合中识别出时序因果潜在过程。通过利用时延依赖性和非平稳统计特性，该方法在无需稀疏性或最小性假设的情况下，实现了优于基线方法的解缠和因果结构恢复效果。

ABSTRACT

Our goal is to recover time-delayed latent causal variables and identify their relations from measured temporal data. Estimating causally-related latent variables from observations is particularly challenging as the latent variables are not uniquely recoverable in the most general case. In this work, we consider both a nonparametric, nonstationary setting and a parametric setting for the latent processes and propose two provable conditions under which temporally causal latent processes can be identified from their nonlinear mixtures. We propose LEAP, a theoretically-grounded framework that extends Variational AutoEncoders (VAEs) by enforcing our conditions through proper constraints in causal process prior. Experimental results on various datasets demonstrate that temporally causal latent processes are reliably identified from observed variables under different dependency structures and that our approach considerably outperforms baselines that do not properly leverage history or nonstationarity information. This demonstrates that using temporal information to learn latent processes from their invertible nonlinear mixtures in an unsupervised manner, for which we believe our work is one of the first, seems promising even without sparsity or minimality assumptions.

研究动机与目标

• 从一般时间数据中识别时序因果潜在过程，且无需依赖稀疏性或最小性假设。
• 为具有时延因果依赖的非线性、非参数化和参数化潜在过程建立可证明的可识别性条件。
• 开发一种深度生成框架，通过在类似VAE的架构中学习因果过程先验来强制满足这些条件。
• 证明时间结构和非平稳性能够可靠地从可逆非线性混合中恢复出因果相关的潜在因子。
• 在合成数据和真实世界数据集（包括动作捕捉和视频数据）上验证该方法，展示其在解缠和因果结构恢复方面的优越性能。

提出的方法

• 在变分自编码器（VAEs）基础上扩展，引入学习到的因果过程先验，以强制满足可识别性的独立噪声（IN）条件。
• 使用基于流的归一化流来建模潜在过程先验中的非平稳性，捕捉时变的功能形式和分布形式。
• 对潜在动力学施加结构约束，以确保时延因果关系得以保留并可识别。
• 采用对比学习目标，区分真实时间序列与打乱序列，利用时间依赖性实现可识别性。
• 引入双流判别器，以区分真实与置换的时间序列，强制模型具备时间结构感知能力。
• 使用AdamW优化器，并为VAE和判别器分别调整学习率，以稳定训练并防止数值问题。

实验结果

研究问题

• RQ1 在何种条件下，可以从非线性、可逆的观测数据混合中识别出具有时延依赖关系的时序因果潜在过程？
• RQ2 如何利用功能形式或噪声分布中的非平稳性来实现潜在因果过程的可识别性？
• RQ3 深度生成模型是否能够在不依赖稀疏性或最小性假设的情况下恢复出因果相关的潜在因子？
• RQ4 与现有基于VAE的方法相比，所提出的LEAP框架在解缠因果结构化潜在动力学方面表现如何？
• RQ5 所学习的潜在变量在真实世界数据中在多大程度上能代表有意义且可解释的因果因子（例如，运动旋转）？

主要发现

• LEAP成功识别出三个因果相关的潜在因子——俯仰、偏航和横滚，其与人类行走运动相对应，在可解释性和过渡平滑性方面优于基线方法。
• 在CMU-Mocap数据集上，LEAP仅使用三个有意义的潜在变量并保持平滑动态，而基线方法需要全部八个潜在维度，表明其具有更优的解缠能力。
• LEAP能够恢复潜在因子之间的交叉关系（例如，俯仰和横滚相互因果影响），而基线方法如BetaVAE和SlowVAE仅学习到独立的动力学。
• 在质量-弹簧系统模拟中，LEAP准确解缠了五个物体的水平和垂直位置，结构汉明距离（SHD）为0，表明实现了完美的因果骨架恢复。
• 该方法对非平稳性和非线性混合表现出鲁棒性，在底层因果过程为非参数化且时变的情况下仍能实现可靠识别。
• 视频演示证实，LEAP的潜在变量遍历能生成真实、连贯的运动序列，而基线方法则产生混乱或不自然的过渡。