[论文解读] Integrating Multimodal Data for Joint Generative Modeling of Complex Dynamics

Manuel Brenner, Hess, Florian+2 more|arXiv (Cornell University)|Dec 15, 2022

Time Series Analysis and Forecasting被引用 5

一句话总结

本文提出 MVAE-TF，一种新颖的训练框架，通过多模态变分自编码器（MVAE）将多模态时间序列数据（如连续信号和离散事件计数）整合到联合潜在空间中，生成稀疏教师强制（TF）信号，用于训练循环神经网络（RNN）以重构非线性动力系统（DS）。该方法在洛伦兹、罗斯勒和刘易斯-格拉斯等混沌DS基准测试中显著提升了重构精度，优于SVAE、BPTT-TF和多点射击基线方法，在OPE、SCC和OACF等多个指标上表现更优。

ABSTRACT

Many, if not most, systems of interest in science are naturally described as nonlinear dynamical systems. Empirically, we commonly access these systems through time series measurements. Often such time series may consist of discrete random variables rather than continuous measurements, or may be composed of measurements from multiple data modalities observed simultaneously. For instance, in neuroscience we may have behavioral labels in addition to spike counts and continuous physiological recordings. While by now there is a burgeoning literature on deep learning for dynamical systems reconstruction (DSR), multimodal data integration has hardly been considered in this context. Here we provide such an efficient and flexible algorithmic framework that rests on a multimodal variational autoencoder for generating a sparse teacher signal that guides training of a reconstruction model, exploiting recent advances in DSR training techniques. It enables to combine various sources of information for optimal reconstruction, even allows for reconstruction from symbolic data (class labels) alone, and connects different types of observations within a common latent dynamics space. In contrast to previous multimodal data integration techniques for scientific applications, our framework is fully extit{generative}, producing, after training, trajectories with the same geometrical and temporal structure as those of the ground truth system.

研究动机与目标

• 为解决从包含非高斯和离散模态（如事件计数）的多模态时间序列数据中重构非线性动力系统（DS）的挑战。
• 通过将稀疏教师强制（TF）适配至非高斯观测，克服在混沌DS上训练RNN时的梯度爆炸与消失问题（EVGP）。
• 开发一个统一框架，在保留各数据模态分布假设的同时，实现联合潜在表征，以提升DS重构性能。
• 通过在训练过程中整合过程噪声和不确定性估计，实现不确定性感知的、概率化的DS重构。

提出的方法

• 该方法采用多模态变分自编码器（MVAE）从多样化数据模态（如连续信号和离散计数）中学习联合潜在表征，每种模态使用适当的似然函数建模（如高斯分布、泊松分布）。
• MVAE 生成对观测多模态数据联合后验分布的变分近似，该近似随后被用作RNN潜在空间中的稀疏教师强制（TF）信号。
• TF信号在由系统最大李雅普诺夫指数决定的时间点应用，将RNN的潜在状态拉向真实后验均值，以稳定训练并缓解EVGP问题。
• RNN通过时间反向传播（BPTT）进行训练，利用MVAE生成的TF信号改善梯度流动和重构保真度，尤其在混沌区域表现更优。
• 该框架通过保持潜在状态的完整后验分布，显式考虑过程噪声和不确定性，从而在预测中提供不确定性估计。
• 该方法应用于树突状PLRNN架构以实现DS重构，训练过程通过变分推断和MVAE-TF损失进行优化。

实验结果

研究问题

• RQ1 稀疏教师强制（TF）能否在动力系统重构背景下，有效扩展至非高斯、多模态时间序列数据（如离散事件计数和连续信号）？
• RQ2 通过多模态变分自编码器（MVAE）整合多模态数据，相较于单模态或非概率基线，能否显著提升基于RNN的混沌动力系统重构的准确性和稳定性？
• RQ3 MVAE-TF在多大程度上降低了重构误差，并改善了混沌系统（如洛伦兹、罗斯勒和刘易斯-格拉斯）中不变动力学特性（如李雅普诺夫指数、吸引子几何结构）的保持？
• RQ4 所提出方法是否在保持各数据模态分布完整性的前提下，实现了联合建模并提升了DS重构中的泛化能力？

主要发现

• 在包含8个序数观测的洛伦兹系统上，MVAE-TF的OPE（0.016 ± 0.04）和SCC（0.016 ± 0.04）最低，优于SVAE（14.7 ± 0.7 和 0.8 ± 0.03）和MS（13.8 ± 1.1 和 X）。
• 在罗斯勒系统上，MVAE-TF的OPE为0.051 ± 0.009，SCC为0.051 ± 0.009，显著低于SVAE（0.23 ± 0.05 和 0.39 ± 0.02），表明其具有更优的重构保真度。
• 在刘易斯-格拉斯模型中，MVAE-TF的OPE为0.15 ± 0.03，OACF为0.011 ± 0.002，优于SVAE（0.24 ± 0.02 和 0.18 ± 0.04）和MS（0.14 ± 0.03 和 0.15 ± 0.03）。
• 在包含正态分布、序数和计数数据的多变量设置下，MVAE-TF在洛伦兹系统上实现了最低的D_stsp（1.1 ± 0.2）和D_H（0.16 ± 0.04），优于GVAE-TF（1.94 ± 0.28 和 0.40 ± 0.08）和BPTT-TF（5.3 ± 0.7 和 0.45 ± 0.05）。
• 在混合数据类型下，MVAE-TF在洛伦兹系统上实现了最低的OPE（0.08 ± 0.01）和OACF（4.6e-5 ± 1.4e-6），表明其在捕捉复杂动力学方面具有高精度。
• 该方法在所有基准测试中均保持了最先进性能，MVAE-TF在重构误差和动力学特性保持方面始终优于SVAE、BPTT-TF、GVAE-TF和多点射击基线方法。