[논문 리뷰] High Fidelity Video Prediction with Large Stochastic Recurrent Neural Networks

Ruben Villegas, Arkanath Pathak외 4명|arXiv (Cornell University)|2019. 11. 05.

Image and Video Quality Assessment인용 수 73

한 줄 요약

이 논문은 최소한의 귀납 바이어스와 큰 용량으로 대규모 확률적 순환 모델을 확장하면 물체 상호작용, 인간 모션, 운전 데이터셋 전반에서 최첨단 비디오 예측을 달성하고, 더 작 은 baselines와 CNN baselines를 능가하며, 순환성과 확률성이 유익하다는 것을 보여준다.

ABSTRACT

Predicting future video frames is extremely challenging, as there are many factors of variation that make up the dynamics of how frames change through time. Previously proposed solutions require complex inductive biases inside network architectures with highly specialized computation, including segmentation masks, optical flow, and foreground and background separation. In this work, we question if such handcrafted architectures are necessary and instead propose a different approach: finding minimal inductive bias for video prediction while maximizing network capacity. We investigate this question by performing the first large-scale empirical study and demonstrate state-of-the-art performance by learning large models on three different datasets: one for modeling object interactions, one for modeling human motion, and one for modeling car driving.

연구 동기 및 목표

• 최소한의 귀납 바이어스와 큰 용량만으로도 고품질 비디오 예측이 가능한지 조사한다.
• 순환 구조와 비순환 아키텍처의 영향 평가.
• 불확실한 미래 예측에서 확률성의 역할 평가.
• 다양한 데이터셋(물체 상호작용, 인간 모션, 운전)에서 매우 큰 모델을 학습하여 확장성 시연.

제안 방법

• Optical flow나 手工 bias 없이 SVG를baseline으로 삼아 확장된 모델을 구축한다.
• 네트워크를 확장하기 위해 인코더/디코더의 요인 K와 LSTM 크기 M을 사용해 용량을 늘린다.
• 후방분포와 생성 분포에 합성곱 LSTM을 사용하고 가우시안 z_t 잠재변수와 함께 분산 하한(variational lower bound)을 beta 가중 KL 항으로 최적화한다.
• 모든 모델에 대해 ground-truth 프레임에서 l1 재구성 손실을 사용해 학습한다.
• CNN, LSTM, SVG’ 변형을 차등 실험으로 비교(확률성, 순환)하고 용량 확장을 평가한다.
• 프레임별 지표(PSNR, SSIM, VGG 코사인 유사도), 동적 지표(FVD), 인간 AMT 판단으로 평가한다.

실험 결과

연구 질문

• RQ1 최소한의 귀납 바이어스와 함께 모델 용량을 극대화하는 것이 비디오 예측 품질을 향상시키는가?
• RQ2 순환 및 확률 구성요소가 현실적인 미래 프레임 생성을 위해 필수적인가?
• RQ3 다양한 데이터셋에서 더 큰 인코더/디코더 및 LSTM 용량으로 성능이 어떻게 확장되는가?
• RQ4 용량이 증가할 때 순환성과 비순환성의 상대적 기여도는 어느 정도인가?

주요 결과

• 대용량 모델이 최소한의 귀납 바이어스로도 질적으로나 양적으로 더 나은 비디오 예측을 보여준다.
• 순환 모델(LSTM, SVG’)이 비순환 CNN baselines보다 우수하며, 예측에 순환성이 중요함을 시사한다.
• 확률적 모델이 결정론적 상대 모델보다 불확실성 하에서나 여러 가능 미래에서 특히 우수하다.
• 모델 용량 증가가 towel-pick, Human3.6M, KITTI 데이터셋 전반에서 FVD를 크게 개선한다.
• 대다수의 경우 인간 평가에서 더 큰 용량의 확률적 모델이 baseline보다 현실감을 더 잘 나타낸다고 평가되었다.
• 해상도 높은 실험에서 더 큰 모델이 더 선명하고 더 현실적인 프레임을 생성할 수 있음을 보여준다.