[논문 리뷰] GRU-ODE-Bayes: Continuous modeling of sporadically-observed time series

Edward De Brouwer, Jaak Simm외 2명|arXiv (Cornell University)|2019. 05. 29.

Machine Learning in Healthcare참고 문헌 44인용 수 119

한 줄 요약

GRU-ODE-Bayes는 연속 시간 GRU(GRU-ODE)와 베이지안 관측 업데이트기(GRU-Bayes)를 통합하여 불규칙하게 관찰되는 다변량 시계열을 모델링하고, 헬스케어 및 기후 데이터에서 최첨단 방법들을 능가하며 연속성(prior)을 인코딩한다.

ABSTRACT

Modeling real-world multidimensional time series can be particularly challenging when these are sporadically observed (i.e., sampling is irregular both in time and across dimensions)-such as in the case of clinical patient data. To address these challenges, we propose (1) a continuous-time version of the Gated Recurrent Unit, building upon the recent Neural Ordinary Differential Equations (Chen et al., 2018), and (2) a Bayesian update network that processes the sporadic observations. We bring these two ideas together in our GRU-ODE-Bayes method. We then demonstrate that the proposed method encodes a continuity prior for the latent process and that it can exactly represent the Fokker-Planck dynamics of complex processes driven by a multidimensional stochastic differential equation. Additionally, empirical evaluation shows that our method outperforms the state of the art on both synthetic data and real-world data with applications in healthcare and climate forecast. What is more, the continuity prior is shown to be well suited for low number of samples settings.

연구 동기 및 목표

• 다변량 시계열에서 불규칙하고 간헐적인 샘플링의 문제를 제시하고 해결한다.
• 관찰 사이의 잠재 동역학을 진화시키기 위한 연속 시간 GRU 변형(GRU-ODE)을 개발한다.
• 간헐한 관측을 동화시키기 위한 베이지안 업데이트 네트워크(GRU-Bayes)를 도입한다.
• 모델이 연속성 사전지식을 인코딩하고 SDE의 Fokker-Planck 동역학을 표현할 수 있음을 보인다.
• 현실 세계의 헬스케어 및 기후 데이터셋에서 기준선과 비교하여 성능을 평가한다.

제안 방법

• 관찰 사이에서 Lipschitz 연속 동역학을 이용해 잠재 상태 h(t)을 전파하는 GRU 기반 ODE(GRU-ODE)를 도출한다.
• 부분 관찰 마스크를 다루는 베이지안 유사 업데이트를 통해 관찰 시점에서 h(t)를 업데이트하는 GRU-Bayes를 도입한다.
• GRU-ODE와 GRU-Bayes를 결합해 관찰 시점에서 이산 점프가 있는 ODE인 GRU-ODE-Bayes를 생성한다.
• 점프 전 부-로그가능도와 점프 후 KL발산을 포함하는 손실을 정의하여 베이지안 유사 업데이트를 촉진한다.
• 가능한 경우 분석적 손실 형태를 사용해 가우시안 및 이항/다항 관측을 처리한다.
• 다양한 ODE 풀이기(Euler, explicit midpoint, Dormand-Prince)를 지원하고 계산상의 트레이드오프를 논의한다.

실험 결과

연구 질문

• RQ1 GRU-ODE-Bayes가 간헐적으로 관찰되는 다변량 시계열의 연속 잠재 동역학을 정확히 모델링할 수 있는가?
• RQ2 관찰이 드문 입력을 ODE 동역학에 통합하는 것이 예측을 향상시키고 변수 간 동적을 포착하는가?
• RQ3 일부 경우에 기저 SDE의 Fokker-Planck 동역학을 정확히 복원하거나 근사할 수 있는가 (예: Ornstein-Uhlenbeck 과정)?
• RQ4 실제 헬스케어 및 기후 데이터셋에서 GRU-ODE-Bayes가 최첨단 기준선과 비교하여 특히 데이터가 적은 경우에 어떻게 성능을 보이는가?

주요 결과

• GRU-ODE-Bayes는 헬스케어와 기후 예측 작업에서 MSE 및 NegLL 관점에서 NeuralODE-VAE, GRU-D, T-LSTM 등 여러 기준선보다 우수하다.
• GRU-ODE가 인코딩한 연속성 사전지식이 특히 소표본 체제에서 성능 이점을 제공한다.
• 모델은 다변수 Ornstein-Uhlenbeck 과정의 Fokker-Planck 동역학을 정확히 표현할 수 있으며 비선형 SDE도 처리할 수 있다.
• 연속 잠재 동역학과 간헐적 관측을 결합해 변수 간 상관관계를 학습하고 새로운 데이터 도착 시 반응적 업데이트가 가능하다.
• 실험에서 GRU-ODE-Bayes가 데이터셋 전반에서 최상위 또는 근사 최상위 지표를 달성하여 불규칙 샘플링을 견고하게 처리함을 시사한다.