[論文レビュー] Enhancing Continuous Time Series Modelling with a Latent ODE-LSTM Approach

C. Coelho, M. Fernanda P. Costa+1 more|arXiv (Cornell University)|Jul 11, 2023

Time Series Analysis and ForecastingComputer Science参考文献 11被引用数 3

ひとこと要約

本論文は、不規則なサンプリングを伴う連続時系列データにおける長期依存関係をより効果的に扱うために、Latent ODE-RNN の ODE-RNN エンコーダを ODE-LSTM アーキテクチャに置き換えた新規な Latent ODE-LSTM モデルを提案する。ノルム勾配クリッピングを統合することで、勾配消失および勾配爆発を効果的に軽減し、合成時系列および実世界の時系列において、ベースラインモデルに比べ優れた再構成性能と外挿性能を示した。

ABSTRACT

Due to their dynamic properties such as irregular sampling rate and high-frequency sampling, Continuous Time Series (CTS) are found in many applications. Since CTS with irregular sampling rate are difficult to model with standard Recurrent Neural Networks (RNNs), RNNs have been generalised to have continuous-time hidden dynamics defined by a Neural Ordinary Differential Equation (Neural ODE), leading to the ODE-RNN model. Another approach that provides a better modelling is that of the Latent ODE model, which constructs a continuous-time model where a latent state is defined at all times. The Latent ODE model uses a standard RNN as the encoder and a Neural ODE as the decoder. However, since the RNN encoder leads to difficulties with missing data and ill-defined latent variables, a Latent ODE-RNN model has recently been proposed that uses a ODE-RNN model as the encoder instead. Both the Latent ODE and Latent ODE-RNN models are difficult to train due to the vanishing and exploding gradients problem. To overcome this problem, the main contribution of this paper is to propose and illustrate a new model based on a new Latent ODE using an ODE-LSTM (Long Short-Term Memory) network as an encoder -- the Latent ODE-LSTM model. To limit the growth of the gradients the Norm Gradient Clipping strategy was embedded on the Latent ODE-LSTM model. The performance evaluation of the new Latent ODE-LSTM (with and without Norm Gradient Clipping) for modelling CTS with regular and irregular sampling rates is then demonstrated. Numerical experiments show that the new Latent ODE-LSTM performs better than Latent ODE-RNNs and can avoid the vanishing and exploding gradients during training.

研究の動機と目的

• 不規則なサンプリングを伴う連続時系列をモデリングする際の、Latent ODE-RNN における勾配消失および勾配爆発問題に対処すること。
• RNN エンコーダを、時間的依存関係をより効果的に保持できる ODE-LSTM アーキテクチャに置き換えることで、長期時系列モデリングを改善すること。
• 潜在空間最適化におけるノルム勾配クリッピングの統合を通じて、学習の安定性と性能を向上させること。
• さまざまなサンプリングパターンと時系列長を有する合成時系列および実世界の時系列データに対して、新アーキテクチャの性能を評価すること。

提案手法

• 隠れ状態遷移がニューラル ODE に従う ODE-LSTM エンコーダを備えた変分オートエンコーダフレームワークを提案する。
• 潜在空間における連続的時間ダイナミクスをモデリングするために、デコーダとしてニューラル ODE を使用する。
• バックプロパゲーション中の勾配成長を制御するため、ノルム勾配クリッピングを適用し、勾配爆発を防止する。
• 連続的時間における変分推論アプローチを用いて、前向きおよび後向きの時間外挿を可能にする潜在軌道を学習する。
• 再パラメータ化を用いた確率的バックプロパゲーションにより、変分下界（ELBO）を最適化することでモデルを学習する。
• Dopri5 などの数値積分ソルバーを用いて、エンコーダおよびデコーダの両方における ODE の積分を実行し、不規則にサンプリングされたデータ上でエンド・トゥ・エンドの学習を可能にする。

Figure 1 : Schematic representation of a RNN applied to a sequential data of arbitrary length. The feedback loop can be unrolled over time and represented as $N$ copies of the RNN cell, resembling a deep fully-connected feed-forward NN with a depth of $N$ .

実験結果

リサーチクエスチョン

• RQ1 ODE-RNN エンコーダを ODE-LSTM エンコーダに置き換えることで、不規則なサンプリングを伴う長期連続時系列における性能向上が達成できるか？
• RQ2 ノルム勾配クリッピングの統合が、Latent ODE-LSTM アーキテクチャにおける勾配爆発を効果的に防止できるか？
• RQ3 合成時系列において、スパarsity が増加する条件下で、Latent ODE-LSTM は Latent ODE-RNN よりも優れた再構成および外挿性能を示すか？
• RQ4 定期的および不規則なサンプリング間隔を有する実世界の時系列データにおいて、Latent ODE-LSTM の性能はいかがなっているか？
• RQ5 異なる時系列長およびデータ特性の下でも、モデルは安定性と一般化性能を維持できるか？

主な発見

• Latent ODE-LSTM は、特にスパースなサンプリング条件下でも、双方向らせんダイナミクスの再構成において、Latent ODE-RNN ベースラインを上回る性能を示した。
• ノルム勾配クリッピングを適用した Latent ODE-LSTM+GC は、合成らせん時系列において、前向きおよび後向きの外挿性能が最も良く、t < 0 および t > 0 においても精度を維持した。
• DJIA 株価データセットでは、長期間の時系列（N=365）で学習した場合、Latent ODE-LSTM は MSE が 0.232 ± 0.046 と、Latent ODE-RNN の 0.245 ± 0.012 よりも低い値を達成した。
• 短期予測（7日後予測）では、Latent ODE-RNN がわずかに Latent ODE-LSTM を上回った（MSE 0.025 ± 0.002 対 0.044 ± 0.005）、これは短期と長期性能のトレードオフを示している。
• ノルム勾配クリッピングを適用したモデル（Latent ODE-LSTM+GC）は、安定した学習を示し、すべての時系列長およびデータセットで一貫した性能を維持しており、勾配爆発の回避が裏付けられた。
• 数値実験により、ODE-LSTM エンコーダが勾配消失問題を効果的に緩和し、時系列における長期依存関係の学習を改善できることを確認した。

Figure 2 : Long Short-Term Memory cell scheme.