[논문 리뷰] Learning Continuous-Time Dynamics by Stochastic Differential Networks

Yingru Liu, Yucheng Xing외 5명|arXiv (Cornell University)|2020. 06. 11.

Neural Networks and Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 변분 베이지안 추론과 확률적 미분 방정식(SDEs)을 사용하여 비정규적이고 희박한 시간 시리즈에서 연속 시간 확률적 동역학을 모델링하는 딥러닝 프레임워크인 변분 스토하스틱 미분 네트워크(VSDN)를 제안한다. 연속 시간 VAE 및 IWAE 손실을 통합함으로써 VSDN은 더러운 데이터에서 예측 및 보간 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, Double-OU 및 USHCN과 같은 실제 데이터셋에서 LatentODE 및 ODE-RNN과 같은 기존 모델들을 능가한다.

ABSTRACT

Learning continuous-time stochastic dynamics is a fundamental and essential problem in modeling sporadic time series, whose observations are irregular and sparse in both time and dimension. For a given system whose latent states and observed data are high-dimensional, it is generally impossible to derive a precise continuous-time stochastic process to describe the system behaviors. To solve the above problem, we apply Variational Bayesian method and propose a flexible continuous-time stochastic recurrent neural network named Variational Stochastic Differential Networks (VSDN), which embeds the complicated dynamics of the sporadic time series by neural Stochastic Differential Equations (SDE). VSDNs capture the stochastic dependency among latent states and observations by deep neural networks. We also incorporate two differential Evidence Lower Bounds to efficiently train the models. Through comprehensive experiments, we show that VSDNs outperform state-of-the-art continuous-time deep learning models and achieve remarkable performance on prediction and interpolation tasks for sporadic time series.

연구 동기 및 목표

• 비정규적이고 희박한 관측이 있는 시스템에서 연속 시간 확률적 동역학을 모델링하는 데 도전하는 것.
• 다변량 시간 시리즈에서 비선형적이고 확률적인 종속성을 포괄할 수 있는 유연한 딥러닝 아키텍처를 개발하는 것.
• VAE 및 IWAE 목표 함수를 사용하여 연속 시간 상태공간 모델에 변분 추론을 확장하여 효율적인 훈련을 가능하게 하는 것.
• 잠재 상태 궤적과 확률성을 통합함으로써 기존의 신경 ODE 기반 모델을 개선하여 더 나은 일반화 성능를 확보하는 것.
• 결측 차원과 비정규적 샘플링을 포함한 실제 세계의 희박한 시간 시리즈 데이터에 대해 예측 및 보간 작업에서 뛰어난 성능를 보여주는 것.

제안 방법

• SDE를 사용하여 잠재 상태 동역학을 모델링하는 연속 시간 스토하스틱 순환 신경망인 변분 스토하스틱 미분 네트워크(VSDN)를 제안한다.
• 훈련을 위해 연속 시간 VAE 및 중요도 가중 평균 자동에코딩(IWAE) 하한의 변형을 도입한다.
• 스토하스틱 경사 하강법을 사용하여 모델을 효율적으로 최적화하기 위해 두 가지 미분형 증거 하한(ELBO)을 활용한다.
• 두 가지 VSDN 변형, 즉 VSDN-F(필터링) 및 VSDN-S(스무딩)를 설계하며, 추론 모델의 구조에서 차이를 둔다.
• SDE의 드리프트 및 확산 함수를 파arameterize하기 위해 딥 신경망을 사용하여 비선형 동역학 모델링을 가능하게 한다.
• 스토하스틱 애드조인트 방법을 적용하여 기울기 계산을 수행하고, SDE 기반 아키텍처의 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비정규적이고 희박한 관측에서 연속 시간 스토하스틱 동역학을 효과적으로 모델링할 수 있는 딥 뉴럴 네트워크 아키텍처가 존재하는가?
• RQ2 SDE 기반 모델을 위한 시간 시리즈 훈련에서 연속 시간 VAE와 IWAE 손실은 어떻게 비교되는가?
• RQ3 잠재 상태 궤적을 통합함으로써 결정론적 ODE 기반 접근법에 비해 모델링 능력이 향상되는가?
• RQ4 VSDN은 결측 차원과 비정규적 샘플링을 포함한 실제 세계의 희박한 시간 시리즈에 일반화 가능한가?
• RQ5 중요도 가중 훈련 목표 함수를 사용할 경우 모델 성능 및 불확실성 추정에 어떤 영향을 미치는가?

주요 결과

• VSDN-F 및 VSDN-S는 예측 및 보간 작업에서 LatentODE, LatentSDE, GRU-ODE 및 ODE-RNN과 같은 최신 기술 수준의 모델들을 모두 능가한다.
• Double-OU 데이터셋에서 VSDN-S(VAE)는 테스트 NLL -1.145 ± 0.013 및 MSE 0.0065 ± 0.0002를 기록하며, LatentODE(NLL: 0.351 ± 0.023)보다 뚜렷이 뛰어난 성능를 보였다.
• USHCN 데이터셋에서 VSDN-S(IWAE)는 가장 낮은 NLL(0.654 ± 0.084)과 MSE(0.381 ± 0.058)를 기록하며, ODE-RNN 및 기타 베이스라인을 능가했다.
• 샘플된 궤적 수가 적을 경우, IWAE 손실이 VAE 손실보다 더 날카운 하한을 제공하고 더 나은 성능를 보였다. 특히 초기 훈련 단계에서 두드러졌다.
• VSDN-S(VAE)는 더 느슨한 ELBO로 인해 수렴에 더 많은 훈련 에포크가 필요하여 VSDN-F에 비해 훈련 난이도가 더 높다는 점을 보였다.
• 모델은 고차원적이고 희박하며 비정규적인 데이터에 대해 강건성을 보이며, 실제 기후 데이터 및 인간 운동 시퀀스와 같은 데이터에도 잘 작동했다.