[论文解读] Latent ODEs for Irregularly-Sampled Time Series

Yulia Rubanova, Ricky T. Q. Chen+1 more|arXiv (Cornell University)|Jul 8, 2019

Time Series Analysis and Forecasting参考文献 18被引用 151

一句话总结

本文提出 ODE-RNNs 和 Latent ODEs，用以建模非规则采样时间序列的连续时间潜在动力学，相较于常规 RNN 可提升预测，并将 Latent ODEs 拓展到带泊松过程的观测时间建模。

ABSTRACT

Time series with non-uniform intervals occur in many applications, and are difficult to model using standard recurrent neural networks (RNNs). We generalize RNNs to have continuous-time hidden dynamics defined by ordinary differential equations (ODEs), a model we call ODE-RNNs. Furthermore, we use ODE-RNNs to replace the recognition network of the recently-proposed Latent ODE model. Both ODE-RNNs and Latent ODEs can naturally handle arbitrary time gaps between observations, and can explicitly model the probability of observation times using Poisson processes. We show experimentally that these ODE-based models outperform their RNN-based counterparts on irregularly-sampled data.

研究动机与目标

• 以连续时间隐藏动力学来动机化并建模非规则采样的时间序列。
• 将 RNN 的转移泛化为神经 ODE，以处理变化的观测间隔。
• 将 Latent ODEs 与 ODE-RNN 识别网络整合，以在稀疏数据上获得更好的推断。
• 将泊松过程似然用于观测时间，以捕捉信息性测量模式。
• 在基于 RNN 的基线和真实世界的非规则采样数据集上进行评估。

提出的方法

• 通过 ODE 定义观测之间的隐藏动力学：h'(t)=f_theta(h(t),t)。
• 在观测点处使用 RNNCell 更新：h_i = RNNCell(h_i', x_i)。
• 在变分自编码器框架下训练自回归的 ODE-RNN 与 Latent ODE。
• 使用带伴随方法的 ODE 求解器实现内存高效的梯度。
• 可选地利用泊松过程建模观测时间，其速率 lambda(t) 取决于潜在状态 z(t)。
• 比较自回归（ODE-RNN）与潜变量（Latent ODE）架构，包括编码器变体（RNN 编码器 vs. ODE-RNN 编码器）。

实验结果

研究问题

• RQ1 连续时间潜在动力学（ODE-RNN 和 Latent ODE）是否能比传统 RNN 提高对非规则采样时间序列的建模？
• RQ2 使用基于 ODE 的识别网络是否能改善稀疏数据的潜变量推断？
• RQ3 用泊松过程似然增强 Latent ODE 是否能改进观測时间的建模？
• RQ4 这些基于 ODE 的模型在合成数据和真实数据集上的插值与外推任务中表现如何？
• RQ5 相对于标准 RNN 与基于 RNN 的 VAE，计算权衡是什么？

主要发现

• ODE-RNN 在非规则采样的数据上优于标准 RNN，尤其是在观测更稀疏时。
• 采用 ODE-RNN 编码器的 Latent ODE 在外推和插值方面优于 RNN-enc-VAEs。
• Latent ODE 通过 z_0 和 f_theta(z) 提供显式的潜在不确定性与可解释的动力学。
• 为观测时间引入泊松过程似然是可行的，但并不总是改善如 PhysioNet 中的死亡率分类等下游任务。
• 在 MuJoCo 数据上，带有 ODE 编码器的 Latent ODE 取得最佳的插值/外推 MSE；自回归模型在外推方面表现不佳。
• Latent ODE 的潜在空间与物理参数相关，且随着观测增多后验熵呈下降趋势。