[논문 리뷰] Stochastic Variational Video Prediction

Mohammad Babaeizadeh, Chelsea Finn외 3명|arXiv (Cornell University)|2017. 10. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 74

한 줄 요약

SV2P는 잠재 변수 샘플마다 서로 다른 가능 미래를 할당하는 다프레임 비디오 예측을 위한 확률적 변분 프레임워크를 도입하여, 결정론적 및 이전의 확률적 방법들보다 실제 비디오에서 더 나은 성능을 보입니다.

ABSTRACT

Predicting the future in real-world settings, particularly from raw sensory observations such as images, is exceptionally challenging. Real-world events can be stochastic and unpredictable, and the high dimensionality and complexity of natural images requires the predictive model to build an intricate understanding of the natural world. Many existing methods tackle this problem by making simplifying assumptions about the environment. One common assumption is that the outcome is deterministic and there is only one plausible future. This can lead to low-quality predictions in real-world settings with stochastic dynamics. In this paper, we develop a stochastic variational video prediction (SV2P) method that predicts a different possible future for each sample of its latent variables. To the best of our knowledge, our model is the first to provide effective stochastic multi-frame prediction for real-world video. We demonstrate the capability of the proposed method in predicting detailed future frames of videos on multiple real-world datasets, both action-free and action-conditioned. We find that our proposed method produces substantially improved video predictions when compared to the same model without stochasticity, and to other stochastic video prediction methods. Our SV2P implementation will be open sourced upon publication.

연구 동기 및 목표

• 확률적 실제 비디오에서 미래 프레임을 예측하는 데 있어 다중 미래가 가능한 도전을 다루고자 한다.
• 각 샘플의 잠재 변수에 대해 서로 다른 그럴듯한 미래를 생성하는 잠재 변수 모델을 개발한다.
• 실세계 데이터세트에서 효과적인 확률적 비디오 예측을 가능하게 하는 안정적인 학습 절차를 제공한다.

제안 방법

• 잠재 z ~ p(z)를 포착하기 위해 잠재적 사건을 가진 p(x_c:T | x_0:c-1, z) 확률 모델을 형식화한다.
• 변분 후방 q_phi(z | x_0:T)를 이용하여 p(z|x_0:T)를 근사하고 ELBO를 최적화한다.
• 추론 네트워크가 q_phi(z|x_0:T)의 mu_phi와 log_sigma_phi를 출력하는 신경망 아키텍처를 구현한다.
• 잠재 z를 CDNA 기반 생성 네트워크에 통합하여 z 및 선택적 행동에 조건부로 다음 프레임을 예측한다.
• 잠재 사용 및 안정적 최적화를 촉진하기 위해, 세 단계로 엔드투엔드 학습을 수행한다(결정론적 선학습, 제약 없는 잠재, 그다음 KL 정규화).
• 단일 비디오당 시간 불변 잠재 변수 대 시간 변화 잠재 변수 버전(타임 인벌런트 vs 타임 변화형)을 탐구한다.

실험 결과

연구 질문

• RQ1 잠재 변수 비디오 예측 모델이 결정론적 출력 너머 실제 비디오에 대해 여러 가능한 미래를 생성할 수 있는가?
• RQ2 추론 네트워크에서 미래 프레임으로 조건화하면 확률적 사건에 대한 의미 있는 잠재 표현 학습이 향상되는가?
• RQ3 시간 불변 잠재화와 시간 변화 잠재화가 데이터셋 간 일반화 및 안정성 측면에서 어떻게 비교되는가?
• RQ4 행동 조건화가 확률적 비디오 예측에 미치는 영향은 무엇인가?

주요 결과

• SV2P는 실제 데이터셋에서 결정론적 베이스라인 및 비잠재적 확률적 모델보다 다중 프레임 예측의 품질이 우수하다.
• 시간 변화 잠재 샘플링은 시간 불변 잠재 샘플링보다 더 긴 예측 거리에서 더 안정적인 예측을 제공한다.
• 정성적 결과는 SV2P가 흐릿한 평균이 아닌 그럴듯한 범위 내에서 일관되고 다양한 미래를 생성함을 보여준다.
• Best-of-N 샘플 분석은 더 많은 샘플이 고 PSNR 미래의 가능성을 증가시킴을 시사하며, 다중 미래를 포착하는 방법의 능력을 보여준다.
• 행동 조건화 설정에서 SV2P는 행동이 모호할 때도 확률적 결과를 보이며, 베이스라인보다 더 선명하고 의미 있는 예측을 생성한다.