[논문 리뷰] ODE2VAE: Deep generative second order ODEs with Bayesian neural networks

Çağatay Yıldız, Markus Heinonen외 1명|arXiv (Cornell University)|2019. 01. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 60

한 줄 요약

ODE2VAE는 고차원 순차 데이터로부터 연속 시간 잠재 역학을 학습하기 위해 베이지안 신경망을 사용하는 두 번째 차수 상미분방정식(ODE)을 활용하는 딥 생성 모델을 제안한다. 확률적 잠재 ODE 프레임워크 내에서 운동량과 위치를 명시적으로 모델링함으로써, 동작 캡처, 이미지 회전, 튀는 공 데이터셋에서 장기 예측 및 데이터 보간 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present Ordinary Differential Equation Variational Auto-Encoder (ODE2VAE), a latent second order ODE model for high-dimensional sequential data. Leveraging the advances in deep generative models, ODE2VAE can simultaneously learn the embedding of high dimensional trajectories and infer arbitrarily complex continuous-time latent dynamics. Our model explicitly decomposes the latent space into momentum and position components and solves a second order ODE system, which is in contrast to recurrent neural network (RNN) based time series models and recently proposed black-box ODE techniques. In order to account for uncertainty, we propose probabilistic latent ODE dynamics parameterized by deep Bayesian neural networks. We demonstrate our approach on motion capture, image rotation, and bouncing balls datasets. We achieve state-of-the-art performance in long term motion prediction and imputation tasks.

연구 동기 및 목표

• 구조화된 잠재 공간을 사용하여 고차원 순차 데이터에서 복잡한 연속 시간 역학을 모델링하기 위해.
• 두 번째 차수 ODE 프레임워크 내에서 운동량과 위치를 명시적으로 모델링하여 장기 예측 및 데이터 보간 성능을 향상시키기 위해.
• 딥 베이지안 신경망을 활용해 잠재 역학의 불확실성 정량화를 통합하기 위해.
• RNN과 블랙박스 ODE 접근법의 한계를 극복하기 위해 두 번째 차수 역학을 통해 물리적 타당성을 강제하기 위해.
• 운동 캡처 및 이미지 회전과 같은 벤치마크 순차 데이터 작업에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 모델은 잠재 공간을 운동량과 위치 성분으로 분해하여 연속 시간 역학을 기술하는 두 번째 차수 ODE 시스템을 가능하게 한다.
• 학습된 역학의 불확실성을 모델링하기 위해 ODE 역학을 딥 베이지안 신경망으로 매개변수화한다.
• 잠재 ODE 시스템은 재구성 및 사전 정규화를 최적화하는 변분 autoencoder(VAE) 목적함수를 통해 엔드 투 엔드로 훈련된다.
• 스토캐스틱 그래디언트 변분 베이즈(SGVB)를 사용하여 근사 사후 추론을 수행함으로써 고차원 순차 데이터에 대한 스케일러블한 훈련을 가능하게 한다.
• 두 번째 차수 ODE 설정은 첫 번째 차수 ODE나 RNN에 비해 더 표현력 있고 물리적으로 해석 가능한 역학을 가능하게 한다.
• 학습된 ODE를 정방향 또는 역방향으로 적분하여 순차 데이터의 생성과 보간을 모두 지원한다.

실험 결과

연구 질문

• RQ1 두 번째 차수 ODE 기반 잠재 모델이 복잡한 순차 역학을 모델링하는 데 있어 첫 번째 차수 ODE나 RNN을 능가할 수 있는가?
• RQ2 잠재 ODE의 베이지안 신경망 매개변수화 방식이 고차원 시간 시리즈의 불확실성을 얼마나 잘 다룰 수 있는가?
• RQ3 명시적인 운동량과 위치 분해이 장기 예측 및 데이터 보간에 얼마나 기여하는가?
• RQ4 두 번째 차수 ODE 구조가 학습된 역학의 해석 가능성과 일반화 능력을 얼마나 향상시키는가?
• RQ5 제안된 ODE2VAE 프레임워크가 벤치마크 순차 데이터 작업에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• ODE2VAE는 동작 캡처 및 이미지 회전 데이터셋에서 장기 예측 성능이 최신 기술 수준이다.
• 모델은 효과적으로 순차 궤적의 누락된 세그먼트를 복원하는 데 뛰어난 데이터 보간 능력을 보였다.
• 두 번째 차수 ODE와 베이지안 신경망의 조합은 잠재 역학의 정확한 불확실성 정량화를 가능하게 했다.
• 명시적인 운동량과 위치 분해는 첫 번째 차수 모델 대비 더 안정적이고 물리적으로 타당한 잠재 궤적을 제공했다.
• 운동 캡처, 이미지 회전, 튀는 공을 포함한 다양한 순차 데이터 유형으로 잘 일반화되었다.
• 딥 베이지안 네트워크의 ODE2VAE 프레임워크 통합은 노이즈가 많거나 완전하지 않은 관측치에 대한 강건성을 향상시켰다.