[論文レビュー] GRU-ODE-Bayes: Continuous modeling of sporadically-observed time series

Edward De Brouwer, Jaak Simm+2 more|arXiv (Cornell University)|May 29, 2019

Machine Learning in Healthcare参考文献 44被引用数 119

ひとこと要約

GRU-ODE-Bayes は連続時間 GRU (GRU-ODE) をベイズ観測更新子 (GRU-Bayes) と組み合わせ、散発的に観測される多変量時系列をモデル化します。医療データと気候データで最先端手法を上回り、連続性の事前分布を符号化します。

ABSTRACT

Modeling real-world multidimensional time series can be particularly challenging when these are sporadically observed (i.e., sampling is irregular both in time and across dimensions)-such as in the case of clinical patient data. To address these challenges, we propose (1) a continuous-time version of the Gated Recurrent Unit, building upon the recent Neural Ordinary Differential Equations (Chen et al., 2018), and (2) a Bayesian update network that processes the sporadic observations. We bring these two ideas together in our GRU-ODE-Bayes method. We then demonstrate that the proposed method encodes a continuity prior for the latent process and that it can exactly represent the Fokker-Planck dynamics of complex processes driven by a multidimensional stochastic differential equation. Additionally, empirical evaluation shows that our method outperforms the state of the art on both synthetic data and real-world data with applications in healthcare and climate forecast. What is more, the continuity prior is shown to be well suited for low number of samples settings.

研究の動機と目的

• 高次元時系列における不規則で散発的なサンプリングを動機付け、対処する。
• 観測間で潜在ダイナミクスを進化させる連続時間GRUの派生形（GRU-ODE）を開発する。
• 散発的な観測を取り込むベイズ更新ネットワーク（GRU-Bayes）を導入する。
• モデルが連続性の事前分布をエンコードし、SDEのFokker-Planckダイナミクスを正確にまたは表現できることを示す。
• 実世界の医療データと気候データセットでベースラインと比較して性能を評価する。

提案手法

• 観測間で潜在状態 h(t) をリプシッツ連続動力学を用いて伝搬させる GRU ベースのODE（GRU-ODE）を導出する。
• 部分観測マスクを扱うベイズ様の更新を用いて、観測時に h(t) を更新する GRU-Bayes を導入する。
• GRU-ODE と GRU-Bayes を組み合わせて GRU-ODE-Bayes を作り、観測時に離散的ジャンプを持つ ODE を生成する。
• 事前ジャンプの負対数似度と事後ジャンプのKL発散を組み合わせた損失を定義し、ベイズ様の更新を促進する。
• 可能な場合には、ガウス分布および二項/多項観測を解析的な損失形にて扱う。
• 様々なODE解法（Euler、明示的中点、Dormand-Prince）をサポートし、計算上のトレードオフを議論する。

実験結果

リサーチクエスチョン

• RQ1 GRU-ODE-Bayes は散発的に観測される多変量時系列の連続的な潜在ダイナミクスを正確にモデル化できるか。
• RQ2 ODE ダイナミクスに散発的な入力を統合することが予測を改善し、変数間ダイナミクスを捉えるのに有効か。
• RQ3 本手法は基礎となるSDEのFokker-Planckダイナミクス（例：Ornstein-Uhlenbeck）を一部のケースで正確に再現または近似できるか。
• RQ4 実世界の医療データと気候データセットにおいて、特に低データ領域で、GRU-ODE-Bayes は最先端ベースラインとどう比較されるか。

主な発見

Model	MSE_USHCN	NegLL_USHCN	MSE_MIMIC	NegLL_MIMIC
NeuralODE-VAE	0.96±0.11	1.46±0.10	0.89±0.01	1.35±0.01
NeuralODE-VAE-Mask	0.83±0.10	1.36±0.05	0.89±0.01	1.36±0.01
Sequential VAE	0.83±0.07	1.37±0.06	0.92±0.09	1.39±0.07
GRU-Simple	0.75±0.12	1.23±0.10	0.82±0.05	1.21±0.04
GRU-D	0.53±0.06	0.99±0.07	0.79±0.06	1.16±0.05
T-LSTM	0.59±0.11	1.67±0.50	0.62±0.05	1.02±0.02
GRU-ODE-Bayes	0.43±0.07	0.84±0.11	0.48±0.01	0.83±0.04

• GRU-ODE-Bayes は医療と気候予測タスクの双方で MSE および NegLL の点で複数のベースライン（NeuralODE-VAE、GRU-D、T-LSTM など）を上回る。
• GRU-ODE によってエンコードされる連続性の事前分布が、特に小規模サンプル領域で性能の優位性を提供する。
• 本モデルは多変量 Ornstein-Uhlenbeck 過程の Fokker-Planck ダイナミクスを正確に表現でき、非線形 SDE も扱える。
• 連続潜在ダイナミクスと散発的観測を結合してモデリングすることで、変数間相関の学習と新しいデータ到着時の反応的更新を可能にする。
• 実験では、GRU-ODE-Bayes がデータセット全体で最良またはほぼ最良の指標を達成し、不規則なサンプリングの頑健な取り扱いを示している。