[论文解读] GRU-ODE-Bayes: Continuous modeling of sporadically-observed time series

Edward De Brouwer, Jaak Simm+2 more|arXiv (Cornell University)|May 29, 2019

Machine Learning in Healthcare参考文献 44被引用 119

一句话总结

GRU-ODE-Bayes 将一个连续时间GRU（GRU-ODE）与一个贝叶斯观测更新器（GRU-Bayes）结合，用以建模稀疏观测的多变量时间序列，在医疗保健和气候数据上超越了最先进的方法，并编码了连续性先验。

ABSTRACT

Modeling real-world multidimensional time series can be particularly challenging when these are sporadically observed (i.e., sampling is irregular both in time and across dimensions)-such as in the case of clinical patient data. To address these challenges, we propose (1) a continuous-time version of the Gated Recurrent Unit, building upon the recent Neural Ordinary Differential Equations (Chen et al., 2018), and (2) a Bayesian update network that processes the sporadic observations. We bring these two ideas together in our GRU-ODE-Bayes method. We then demonstrate that the proposed method encodes a continuity prior for the latent process and that it can exactly represent the Fokker-Planck dynamics of complex processes driven by a multidimensional stochastic differential equation. Additionally, empirical evaluation shows that our method outperforms the state of the art on both synthetic data and real-world data with applications in healthcare and climate forecast. What is more, the continuity prior is shown to be well suited for low number of samples settings.

研究动机与目标

• 动机并解决多维时间序列中的不规则、零散采样问题。
• 开发一个连续时间GRU变体（GRU-ODE），在观测之间演化潜在动态。
• 引入一个贝叶斯更新网络（GRU-Bayes），以同化稀疏观测。
• 展示该模型编码了连续性先验，并且能够表示SDE的Fokker-Planck动力学。
• 在真实世界的医疗保健和气候数据集上评估相对于基线的性能。

提出的方法

• 推导一个基于GRU的ODE（GRU-ODE），利用Lipchitz连续动态在观测之间传播潜在状态 h(t)。
• 引入 GRU-Bayes，通过类贝叶斯更新在观测时刻更新 h(t)，处理部分观测掩码。
• 将 GRU-ODE 和 GRU-Bayes 结合为 GRU-ODE-Bayes，在观测时刻产生离散跳跃的ODE。
• 定义一个损失，包括跳跃前的负对数似然和跳跃后的KL散度，以促进贝叶斯式更新。
• 尽可能使用解析损失形式处理高斯和二项/多项观测。
• 支持多种ODE求解器（Euler、显式中点、Dormand-Prince），并讨论计算权衡。

实验结果

研究问题

• RQ1 Can GRU-ODE-Bayes accurately model the continuous latent dynamics of sporadically observed multidimensional time series?
• RQ2 Does integrating sporadic inputs into the ODE dynamics improve forecasting and capture inter-variable dynamics?
• RQ3 Can the approach recover or approximate the Fokker-Planck dynamics of underlying SDEs (e.g., Ornstein-Uhlenbeck) exactly in some cases?
• RQ4 How does GRU-ODE-Bayes compare against state-of-the-art baselines on real-world healthcare and climate datasets, especially in low-data regimes?

主要发现

模型	MSE_USHCN	NegLL_USHCN	MSE_MIMIC	NegLL_MIMIC
NeuralODE-VAE	0.96±0.11	1.46±0.10	0.89±0.01	1.35±0.01
NeuralODE-VAE-Mask	0.83±0.10	1.36±0.05	0.89±0.01	1.36±0.01
Sequential VAE	0.83±0.07	1.37±0.06	0.92±0.09	1.39±0.07
GRU-Simple	0.75±0.12	1.23±0.10	0.82±0.05	1.21±0.04
GRU-D	0.53±0.06	0.99±0.07	0.79±0.06	1.16±0.05
T-LSTM	0.59±0.11	1.67±0.50	0.62±0.05	1.02±0.02
GRU-ODE-Bayes	0.43±0.07	0.84±0.11	0.48±0.01	0.83±0.04

• GRU-ODE-Bayes 在医疗保健与气候预测任务上，在MSE和NegLL方面优于多个基线（NeuralODE-VAE、GRU-D、T-LSTM 等）。
• GRU-ODE 编码的连续性先验在小样本情形下提供性能优势。
• 该模型可以精确表示多变量 Ornstein-Uhlenbeck 过程的Fokker-Planck动力学，并且能够处理非线性SDEs。
• 联合建模连续潜在动态和稀疏观测使得学习变量间相关性以及新数据到来时的响应更新成为可能。
• 在实验中，GRU-ODE-Bayes 在各数据集上达到最佳或接近最佳的指标，表明其对不规则采样具有鲁棒处理能力。