[論文レビュー] Latent ODEs for Irregularly-Sampled Time Series

Yulia Rubanova, Ricky T. Q. Chen+1 more|arXiv (Cornell University)|Jul 8, 2019

Time Series Analysis and Forecasting参考文献 18被引用数 151

ひとこと要約

本論文は、連続時間潜在ダイナミクスを用いて不規則にサンプリングされた時系列をモデル化するODE-RNNとLatent ODEを提案し、標準的なRNNに比べて予測を改善する。さらに観測時刻にはPoisson過程を導入してLatent ODEを拡張する。

ABSTRACT

Time series with non-uniform intervals occur in many applications, and are difficult to model using standard recurrent neural networks (RNNs). We generalize RNNs to have continuous-time hidden dynamics defined by ordinary differential equations (ODEs), a model we call ODE-RNNs. Furthermore, we use ODE-RNNs to replace the recognition network of the recently-proposed Latent ODE model. Both ODE-RNNs and Latent ODEs can naturally handle arbitrary time gaps between observations, and can explicitly model the probability of observation times using Poisson processes. We show experimentally that these ODE-based models outperform their RNN-based counterparts on irregularly-sampled data.

研究の動機と目的

• 連続時間の隠れダイナミクスを用いて不規則にサンプルされた時系列の動機づけとモデル化。
• 観測間隔が変動する場合に対応するため、RNN遷移をニューラルODEへ一般化する。
• 疎なデータでの推定を向上させるため、ODE-RNN認識ネットワークとLatent ODEを統合する。
• 情報量のある測定パターンを捉えるため、観測時刻に対してPoisson過程尤度を組み込む。
• RNNベースのベースラインおよび実-worldの不規則サンプリングデータセットで評価する。

提案手法

• 観測間の隠れダイナミクスをODEで定義する: h'(t)=f_theta(h(t),t).
• 観測時点でRNNCellを用いて更新する: h_i = RNNCell(h_i', x_i).
• 変分オートエンコーダフレームワークの下でautoregressive ODE-RNNsとLatent ODEsを訓練する。
• メモリ効率の良い勾配のためにadjoint法を用いたODEソルバを使用する。
• 潜在状態 z(t) に依存する率 lambda(t) を用いたPoisson過程で観測時刻を任意にモデル化する。
• 自己回帰型 (ODE-RNN) と潜在変数型 (Latent ODE) アーキテクチャを、エンコーダのバリアント（RNNエンコーダ vs. ODE-RNNエンコーダ）を含めて比較する。

実験結果

リサーチクエスチョン

• RQ1 連続時間の潜在ダイナミクス（ODE-RNNおよび Latent ODE）は、従来のRNNよりも不規則にサンプルされた時系列のモデリングを改善できるか？
• RQ2 ODEベースの認識ネットワークを用いることで、疎データに対する潜在変数推論は改善されるか？
• RQ3 Poisson過程尤度をLatent ODEに付加することで観測時刻のモデリングは改善されるか？
• RQ4 これらのODEベースモデルは、合成データと実世界データの補間・外挿タスクでどのように性能を示すか？
• RQ5 標準的なRNNおよびRNNベースのVAEと比較した際の計算上のトレードオフは何か？

主な発見

モデル	10%	20%	30%	50%	10%	20%	30%	50%
Autoreg | RNN Δt	2.454	1.714	1.250	0.785	7.259	6.792	6.594	30.571
RNN GRU-D	1.968	1.421	1.134	0.748	38.130	20.041	13.049	5.833
ODE-RNN (Ours)	1.647	1.209	0.986	0.665	13.508	31.950	15.465	26.463
Enc-Dec | RNN-VAE	6.514	6.408	6.305	6.100	2.378	2.135	2.021	1.782
Latent ODE (RNN enc.)	2.477	0.578	2.768	0.447	1.663	1.653	1.485	1.377
Latent ODE (ODE enc, ours)	0.360	0.295	0.300	0.285	1.441	1.400	1.175	1.258

• ODE-RNNは不規則にサンプルされたデータで標準RNNより優れており、特に観測がより疎な場合に顕著。
• Latent ODEs with an ODE-RNN encoder yield better extrapolation and interpolation than RNN-enc-VAEs.
• Latent ODEs provide explicit latent uncertainty and interpretable dynamics via z_0 and f_theta(z).
• Incorporating a Poisson process likelihood for observation times is feasible but did not always improve downstream tasks like mortality classification in PhysioNet.
• On MuJoCo data, Latent ODEs with an ODE encoder achieve the best interpolation/extrapolation MSE; autoregressive models struggle with extrapolation.
• Latent ODEs exhibit latent space that correlates with physical parameters and show decreasing posterior entropy as more observations are seen.