[论文解读] Learning Continuous-Time Dynamics by Stochastic Differential Networks

Yingru Liu, Yucheng Xing+5 more|arXiv (Cornell University)|Jun 11, 2020

Neural Networks and Applications参考文献 26被引用 4

一句话总结

该论文提出变分随机微分网络（VSDN），一种深度学习框架，通过随机微分方程（SDEs）和变分推断来建模不规则且稀疏时间序列中的连续时间随机动力学。通过结合连续时间变分自编码器（VAE）和重要性加权自编码器（IWAE）损失，VSDN在合成与真实世界数据集（包括Double-OU和USHCN）上的预测与插值任务中实现了最先进性能，优于现有的LatentODE和ODE-RNN等模型。

ABSTRACT

Learning continuous-time stochastic dynamics is a fundamental and essential problem in modeling sporadic time series, whose observations are irregular and sparse in both time and dimension. For a given system whose latent states and observed data are high-dimensional, it is generally impossible to derive a precise continuous-time stochastic process to describe the system behaviors. To solve the above problem, we apply Variational Bayesian method and propose a flexible continuous-time stochastic recurrent neural network named Variational Stochastic Differential Networks (VSDN), which embeds the complicated dynamics of the sporadic time series by neural Stochastic Differential Equations (SDE). VSDNs capture the stochastic dependency among latent states and observations by deep neural networks. We also incorporate two differential Evidence Lower Bounds to efficiently train the models. Through comprehensive experiments, we show that VSDNs outperform state-of-the-art continuous-time deep learning models and achieve remarkable performance on prediction and interpolation tasks for sporadic time series.

研究动机与目标

• 解决在观测不规则且稀疏的系统中建模连续时间随机动力学的挑战。
• 开发一种灵活的深度学习架构，能够捕捉多变量时间序列中的非线性和随机依赖关系。
• 将变分推断扩展至连续时间状态空间模型，利用VAE和IWAE目标函数实现高效训练。
• 通过引入潜在状态轨迹和随机性，改进基于神经ODE的现有模型，以提升泛化能力。
• 在稀疏时间序列数据的预测与插值任务中展示优越性能。

提出的方法

• 提出变分随机微分网络（VSDN），一种基于SDEs建模潜在状态动力学的连续时间随机循环神经网络。
• 提出变分自编码（VAE）和重要性加权自编码（IWAE）在连续时间下的变体，用于模型训练。
• 采用两种微分证据下界（ELBO）以通过随机梯度下降高效优化模型。
• 设计两种VSDN变体：VSDN-F（滤波）和VSDN-S（平滑），二者在推理模型结构上有所不同。
• 使用深度神经网络参数化SDE中的漂移和扩散函数，实现非线性动力学建模。
• 应用随机伴随方法进行梯度计算，实现基于SDE架构的端到端训练。

实验结果

研究问题

• RQ1 深度神经网络架构能否有效从不规则且稀疏的观测中建模连续时间随机动力学？
• RQ2 在优化基于SDE的时间序列模型时，连续时间VAE与IWAE损失表现如何比较？
• RQ3 与确定性ODE方法相比，引入潜在状态轨迹是否能提升模型容量？
• RQ4 VSDN能否在包含缺失维度和不规则采样模式的真实世界稀疏时间序列上实现良好泛化？
• RQ5 使用重要性加权训练目标对模型性能与不确定性估计有何影响？

主要发现

• VSDN-F与VSDN-S在预测与插值任务中均优于最先进模型，包括LatentODE、LatentSDE、GRU-ODE与ODE-RNN。
• 在Double-OU数据集上，VSDN-S（VAE）的测试NLL为-1.145 ± 0.013，MSE为0.0065 ± 0.0002，显著优于LatentODE（NLL: 0.351 ± 0.023）。
• 在USHCN数据集上，VSDN-S（IWAE）实现了最低的NLL（0.654 ± 0.084）与MSE（0.381 ± 0.058），优于ODE-RNN及其他基线模型。
• 当采样轨迹数量较少时，IWAE损失相比VAE损失能提供更紧的下界并取得更好性能，尤其在训练初期表现更优。
• VSDN-S（VAE）因ELBO更松，收敛所需训练轮次更多，表明其训练难度高于VSDN-F。
• 该模型在高维、稀疏且不规则的数据上表现出强鲁棒性，包括真实世界的气候数据与人体运动序列。