[论文解读] Enhancing Continuous Time Series Modelling with a Latent ODE-LSTM Approach

C. Coelho, M. Fernanda P. Costa+1 more|arXiv (Cornell University)|Jul 11, 2023

Time Series Analysis and ForecastingComputer Science参考文献 11被引用 3

一句话总结

本文提出了一种新颖的潜在 ODE-LSTM 模型，该模型用 ODE-LSTM 架构替代了潜在 ODE-RNN 中的 ODE-RNN 编码器，以更好地处理具有不规则采样特性的连续时间序列中的长期依赖问题。通过集成范数梯度裁剪，该模型有效缓解了梯度消失和梯度爆炸问题，在合成数据和真实世界时间序列上均展现出优于基线模型的重建与外推性能。

ABSTRACT

Due to their dynamic properties such as irregular sampling rate and high-frequency sampling, Continuous Time Series (CTS) are found in many applications. Since CTS with irregular sampling rate are difficult to model with standard Recurrent Neural Networks (RNNs), RNNs have been generalised to have continuous-time hidden dynamics defined by a Neural Ordinary Differential Equation (Neural ODE), leading to the ODE-RNN model. Another approach that provides a better modelling is that of the Latent ODE model, which constructs a continuous-time model where a latent state is defined at all times. The Latent ODE model uses a standard RNN as the encoder and a Neural ODE as the decoder. However, since the RNN encoder leads to difficulties with missing data and ill-defined latent variables, a Latent ODE-RNN model has recently been proposed that uses a ODE-RNN model as the encoder instead. Both the Latent ODE and Latent ODE-RNN models are difficult to train due to the vanishing and exploding gradients problem. To overcome this problem, the main contribution of this paper is to propose and illustrate a new model based on a new Latent ODE using an ODE-LSTM (Long Short-Term Memory) network as an encoder -- the Latent ODE-LSTM model. To limit the growth of the gradients the Norm Gradient Clipping strategy was embedded on the Latent ODE-LSTM model. The performance evaluation of the new Latent ODE-LSTM (with and without Norm Gradient Clipping) for modelling CTS with regular and irregular sampling rates is then demonstrated. Numerical experiments show that the new Latent ODE-LSTM performs better than Latent ODE-RNNs and can avoid the vanishing and exploding gradients during training.

研究动机与目标

• 解决在建模具有不规则采样特性的连续时间序列时，潜在 ODE-RNN 中的梯度消失与梯度爆炸问题。
• 通过用更优保留时间依赖性的 ODE-LSTM 架构替代 RNN 编码器，提升长期序列建模能力。
• 通过在潜在空间优化中集成范数梯度裁剪，增强训练稳定性和性能。
• 在具有不同采样模式和序列长度的合成与真实世界时间序列上评估新架构的性能。

提出的方法

• 提出一种变分自编码器框架，其中编码器采用 ODE-LSTM 架构，隐藏状态的转移由神经 ODE 控制。
• 使用神经 ODE 作为解码器，以在潜在空间中建模连续时间动态。
• 应用范数梯度裁剪以控制反向传播过程中的梯度增长，防止梯度爆炸。
• 采用连续时间变分推断方法，学习支持正向与反向时间外推的潜在轨迹。
• 使用重参数化技巧进行随机反向传播训练，优化变分下界（ELBO）。
• 使用数值求解器（如 Dopri5）对编码器和解码器中的 ODE 进行积分，实现在不规则采样数据上的端到端训练。

Figure 1 : Schematic representation of a RNN applied to a sequential data of arbitrary length. The feedback loop can be unrolled over time and represented as $N$ copies of the RNN cell, resembling a deep fully-connected feed-forward NN with a depth of $N$ .

实验结果

研究问题

• RQ1 用 ODE-LSTM 编码器替代 ODE-RNN 编码器是否能提升在具有不规则采样特性的长期连续时间序列上的性能？
• RQ2 范数梯度裁剪的集成是否能有效防止潜在 ODE-LSTM 架构中的梯度爆炸？
• RQ3 潜在 ODE-LSTM 模型在重建与外推具有更高稀疏性的合成时间序列时，与潜在 ODE-RNN 相比表现如何？
• RQ4 潜在 ODE-LSTM 模型在具有规则与不规则采样间隔的真实世界时间序列上的表现如何？
• RQ5 该模型在不同序列长度和数据特性下是否保持鲁棒性与泛化能力？

主要发现

• 潜在 ODE-LSTM 模型在重建双向螺旋动态方面优于潜在 ODE-RNN 基线模型，尤其在采样更稀疏的条件下表现更优。
• 潜在 ODE-LSTM + 梯度裁剪在合成螺旋数据的正向与反向外推中均取得最佳性能，在 t < 0 和 t > 0 时仍保持高精度。
• 在 DJIA 股票价格数据集上，当使用长序列（N=365）训练时，潜在 ODE-LSTM 模型的均方误差（MSE）低于潜在 ODE-RNN，分别为 0.232 ± 0.046 和 0.245 ± 0.012。
• 对于短期预测（7 天预测范围），潜在 ODE-RNN 略优于潜在 ODE-LSTM（MSE 分别为 0.025 ± 0.002 和 0.044 ± 0.005），表明短期与长期性能之间存在权衡。
• 采用范数梯度裁剪的模型（潜在 ODE-LSTM + GC）表现出稳定的训练过程，未出现梯度爆炸，其性能在所有序列长度和数据集上均保持一致。
• 数值实验结果证实，ODE-LSTM 编码器能有效缓解梯度消失问题，从而更优地学习时间序列中的长期依赖关系。

Figure 2 : Long Short-Term Memory cell scheme.