[논문 리뷰] Latent ODEs for Irregularly-Sampled Time Series

Yulia Rubanova, Ricky T. Q. Chen외 1명|arXiv (Cornell University)|2019. 07. 08.

Time Series Analysis and Forecasting참고 문헌 18인용 수 151

한 줄 요약

이 논문은 irregularly sampled time series를 모델링하기 위해 ODE-RNN과 Latent ODE를 도입하여 연속 시간 잠재 다이나믹스를 사용하고 표준 RNN보다 예측을 개선하며 Latent ODE를 포아송 과정으로 관측 시점 모델링을 확장한다.

ABSTRACT

Time series with non-uniform intervals occur in many applications, and are difficult to model using standard recurrent neural networks (RNNs). We generalize RNNs to have continuous-time hidden dynamics defined by ordinary differential equations (ODEs), a model we call ODE-RNNs. Furthermore, we use ODE-RNNs to replace the recognition network of the recently-proposed Latent ODE model. Both ODE-RNNs and Latent ODEs can naturally handle arbitrary time gaps between observations, and can explicitly model the probability of observation times using Poisson processes. We show experimentally that these ODE-based models outperform their RNN-based counterparts on irregularly-sampled data.

연구 동기 및 목표

• 계속 시간의 숨겨진 다이나믹스를 활용하여 irregularly-sampled 시계열을 동기화하고 모델링한다.
• 관측 간격이 달라지는 상황을 다루기 위해 RNN 전이를 신경 ODE로 일반화한다.
• 희소 데이터에서의 추론을 개선하기 위해 Latent ODE를 ODE-RNN 인식 네트워크와 통합한다.
• 관측 시점에 대해 Poisson 과정을 가능도(likelihood)로 통합하여 정보를 담은 측정 패턴을 포착한다.
• RNN 기반 베이스라인 및 실제 세계의 irregularly-sampled 데이터셋에 대해 평가한다.

제안 방법

• 관찰 사이의 숨겨진 다이나믹스를 ODE로 정의: h'(t)=f_theta(h(t),t).
• 관측 시점에서 RNNCell을 사용하여 업데이트: h_i = RNNCell(h_i', x_i).
• 변분 오토인코더 프레임워크 하에서 autoregressive ODE-RNN 및 Latent ODE를 학습한다.
• 메모리 효율적인 기울기를 위해 adjoint 방법을 사용한 ODE 해결기를 사용한다.
• 잠재 상태 z(t)에 의존하는 비율 lambda(t)을 갖는 Poisson 과정으로 관측 시점을 선택적으로 모델링한다.
• 인코더 변형(RNN 인코더 대 ODE-RNN 인코더)을 포함하여 autoregressive (ODE-RNN)와 latent-variable (Latent ODE) 아키텍처를 비교한다.

실험 결과

연구 질문

• RQ1 연속 시간 잠재 다이나믹스(ODE-RNN 및 Latent ODE)가 전통적 RNN에 비해 irregularly-sampled 시계열 모델링을 개선할 수 있는가?
• RQ2 ODE 기반 인식 네트워크 사용이 희소 데이터에서 잠재 변수 추론을 개선하는가?
• RQ3 Poisson-프로세스 가능도 Latent ODE를 보강하는 것이 관측 시점 모델링을 개선하는가?
• RQ4 합성 및 실제 데이터세트에서 보간 및 외삽 작업에 대해 이러한 ODE 기반 모델의 성능은 어떤가?
• RQ5 표준 RNN 및 RNN 기반 VAE에 비해 계산상의 트레이드오프는 무엇인가?

주요 결과

• ODE-RNN은 irregularly-sampled 데이터에서 표준 RNN보다 성능이 앞선다, 특히 더 희박한 관찰에서.
• ODE-RNN 인코더를 갖춘 Latent ODE는 RNN-enc-VAEs보다 추정(out-of-sample) 보간 및 외삽이 더 뛰어나다.
• Latent ODE는 z_0 및 f_theta(z)를 통해 명시적 잠재 불확실성과 해석 가능한 다이나믹스를 제공한다.
• 관측 시점에 Poisson 과정 가능도 도입은 가능하지만 PhysioNet의 사망 예측 같은 하류 작업에서 항상 개선되지는 않았다.
• MuJoCo 데이터에서 ODE 인코더를 가진 Latent ODE가 최상의 보간/외삽 MSE를 달성했고, autoregressive 모델은 외삽에 어려움을 보인다.
• Latent ODE는 물리적 매개변수와 상관 관계가 있는 잠재 공간을 보이며 더 많은 관찰이 관찰될수록 후방 엔트로피가 감소한다.