[논문 리뷰] ODE$^2$VAE: Deep generative second order ODEs with Bayesian neural networks

Çağatay Yıldız, Markus Heinonen외 1명|arXiv (Cornell University)|2019. 05. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 62

한 줄 요약

ODE2VAE는 베이지안 신경망으로 잠재 2차 ODE 다이나믹스를 학습하고, 잠재 공간을 위치(position)과 속도(velocity)로 분해하여 고차원 시퀀스 데이터를 모델링하고 장기 예측 및 보간(imputation)을 향상시킵니다.

ABSTRACT

We present Ordinary Differential Equation Variational Auto-Encoder (ODE$^2$VAE), a latent second order ODE model for high-dimensional sequential data. Leveraging the advances in deep generative models, ODE$^2$VAE can simultaneously learn the embedding of high dimensional trajectories and infer arbitrarily complex continuous-time latent dynamics. Our model explicitly decomposes the latent space into momentum and position components and solves a second order ODE system, which is in contrast to recurrent neural network (RNN) based time series models and recently proposed black-box ODE techniques. In order to account for uncertainty, we propose probabilistic latent ODE dynamics parameterized by deep Bayesian neural networks. We demonstrate our approach on motion capture, image rotation and bouncing balls datasets. We achieve state-of-the-art performance in long term motion prediction and imputation tasks.

연구 동기 및 목표

• 고차원 시퀀스 데이터에 대한 확률적이고 연속 시간 잠재 다이나믹스 모델을 제공한다.
• 잠재 공간을 위치와 속도로 분해하여 2차 동역학을 포착한다.
• 불확실한 다이나믹스를 모델링하고 과적합을 방지하기 위해 베이지안 신경망을 도입한다.
• 변분추론을 통해 초기 잠재 상태, 다이나믹스 및 재구성을 공동으로 학습하도록 최적화한다.
• 모션 캡처, 회전 MNIST, 및 bouncing balls 데이터셋에서 최첨단 결과를 입증한다.

제안 방법

• 잠재 공간에서 위치 s_t와 속도 v_t를 갖는 2차 ODE를 도입한다.
• 가속도장 f_W(s_t,v_t)를 가중치 W에 대해 베이지안 신경망으로 매개변수화한다.
• 초기 위치 s_0와 초기 속도 v_0에 대한 인코더와 관측 x_t에 대한 디코더를 갖는 변분 자동인코더 프레임워크를 사용한다.
• 잠재 ODE 흐름의 로그 밀도 진화를 유도하기 위해 순간적 변수 변화법을 적용한다.
• 재구성, 다이나믹스 및 사전 제약 간의 균형을 맞추기 위해 페널라이즈드 변분 손실 (ODE2VAE-KL)을 사용한다.
• 수치적 ODE 적분(RK 방법)으로 잠재 다이나믹스를 풀고 재매개화 및 몬테카를로 추정으로 학습한다.

실험 결과

연구 질문

• RQ1 고차원 시퀀스 데이터에 대해 어떻게 2차 연속 시간 잠재 다이나믹스를 학습할 수 있는가?
• RQ2 잠재 공간을 위치와 속도로 분해하고 베이지안 가속도장을 도입하면 장기 예측 및 보간이 개선되는가?
• RQ3 변분 추론과 베이지안 신경망이 복잡한 시퀀스에서 과적합을 방지하기 위해 잠재 다이나믹스를 정규화할 수 있는가?
• RQ4 ODE2VAE는 모션 캡처 및 이미지 시퀀스 데이터셋에서 RNN 및 블랙박스 ODE 접근법과 어떻게 비교되는가?
• RQ5 KL 가중치 정규화 방식(ODE2VAE-KL)이 잠재 및 다이나믹 손실의 균형에 어떤 이점을 제공하는가?

주요 결과

• 고차원 시퀀스에서 최첨단 장기 모션 예측 및 보간을 달성한다.
• 모션 캡처, 회전 MNIST, 및 bouncing balls 데이터셋에서 장기 예측이 개선되었다.
• 베이지안 2차 동역학과 잠재 위치-속도 분해가 과적합 완화를 돕고 일반화 성능을 향상시킨다.
• 여러 순차 작업에서 신경망 ODE 및 RNN 기반 모델보다 우수하며, 특히 외삽 및 누락 데이터 시나리오에서 우수하다.
• KL-정규화 변형(ODE2VAE-KL)은 학습을 더 안정화하고 인코더 출력과의 잠재 흐름 정렬을 강화한다.