[论文解读] Latent ODEs for Irregularly-Sampled Time Series

Yulia Rubanova, Ricky T. Q. Chen+1 more|arXiv (Cornell University)|Jul 8, 2019

Time Series Analysis and Forecasting参考文献 18被引用 151

一句话总结

本文提出 ODE-RNNs 和 Latent ODEs，用以建模非规则采样时间序列的连续时间潜在动力学，相较于常规 RNN 可提升预测，并将 Latent ODEs 拓展到带泊松过程的观测时间建模。

ABSTRACT

Time series with non-uniform intervals occur in many applications, and are difficult to model using standard recurrent neural networks (RNNs). We generalize RNNs to have continuous-time hidden dynamics defined by ordinary differential equations (ODEs), a model we call ODE-RNNs. Furthermore, we use ODE-RNNs to replace the recognition network of the recently-proposed Latent ODE model. Both ODE-RNNs and Latent ODEs can naturally handle arbitrary time gaps between observations, and can explicitly model the probability of observation times using Poisson processes. We show experimentally that these ODE-based models outperform their RNN-based counterparts on irregularly-sampled data.

研究动机与目标

• 以连续时间隐藏动力学来动机化并建模非规则采样的时间序列。
• 将 RNN 的转移泛化为神经 ODE，以处理变化的观测间隔。
• 将 Latent ODEs 与 ODE-RNN 识别网络整合，以在稀疏数据上获得更好的推断。
• 将泊松过程似然用于观测时间，以捕捉信息性测量模式。
• 在基于 RNN 的基线和真实世界的非规则采样数据集上进行评估。

提出的方法

• 通过 ODE 定义观测之间的隐藏动力学：h'(t)=f_theta(h(t),t)。
• 在观测点处使用 RNNCell 更新：h_i = RNNCell(h_i', x_i)。
• 在变分自编码器框架下训练自回归的 ODE-RNN 与 Latent ODE。
• 使用带伴随方法的 ODE 求解器实现内存高效的梯度。
• 可选地利用泊松过程建模观测时间，其速率 lambda(t) 取决于潜在状态 z(t)。
• 比较自回归（ODE-RNN）与潜变量（Latent ODE）架构，包括编码器变体（RNN 编码器 vs. ODE-RNN 编码器）。

实验结果

研究问题

• RQ1 连续时间潜在动力学（ODE-RNN 和 Latent ODE）是否能比传统 RNN 提高对非规则采样时间序列的建模？
• RQ2 使用基于 ODE 的识别网络是否能改善稀疏数据的潜变量推断？
• RQ3 用泊松过程似然增强 Latent ODE 是否能改进观測时间的建模？
• RQ4 这些基于 ODE 的模型在合成数据和真实数据集上的插值与外推任务中表现如何？
• RQ5 相对于标准 RNN 与基于 RNN 的 VAE，计算权衡是什么？

主要发现

模型	10%	20%	30%	50%	10%	20%	30%	50%
Autoreg | RNN Δt	2.454	1.714	1.250	0.785	7.259	6.792	6.594	30.571
RNN GRU-D	1.968	1.421	1.134	0.748	38.130	20.041	13.049	5.833
ODE-RNN (Ours)	1.647	1.209	0.986	0.665	13.508	31.950	15.465	26.463
Enc-Dec | RNN-VAE	6.514	6.408	6.305	6.100	2.378	2.135	2.021	1.782
Latent ODE (RNN enc.)	2.477	0.578	2.768	0.447	1.663	1.653	1.485	1.377
Latent ODE (ODE enc, ours)	0.360	0.295	0.300	0.285	1.441	1.400	1.175	1.258

• ODE-RNN 在非规则采样的数据上优于标准 RNN，尤其是在观测更稀疏时。
• 采用 ODE-RNN 编码器的 Latent ODE 在外推和插值方面优于 RNN-enc-VAEs。
• Latent ODE 通过 z_0 和 f_theta(z) 提供显式的潜在不确定性与可解释的动力学。
• 为观测时间引入泊松过程似然是可行的，但并不总是改善如 PhysioNet 中的死亡率分类等下游任务。
• 在 MuJoCo 数据上，带有 ODE 编码器的 Latent ODE 取得最佳的插值/外推 MSE；自回归模型在外推方面表现不佳。
• Latent ODE 的潜在空间与物理参数相关，且随着观测增多后验熵呈下降趋势。