[논문 리뷰] Stochastic Video Generation with a Learned Prior

Emily Denton, Rob Fergus|arXiv (Cornell University)|2018. 02. 21.

Generative Adversarial Networks and Image Synthesis인용 수 304

한 줄 요약

논문은 시간에 따라 변화하는 학습된 사전(prior)을 갖춘 확률적 비디오 생성 모델 SVG-LP를 소개합니다. 이 모델은 결정론적 프레임 예측기와 함께 작동하여 선명하고 다양한 미래 프레임을 생성하고 비디오 동역학의 불확실성을 포착할 수 있습니다.

ABSTRACT

Generating video frames that accurately predict future world states is challenging. Existing approaches either fail to capture the full distribution of outcomes, or yield blurry generations, or both. In this paper we introduce an unsupervised video generation model that learns a prior model of uncertainty in a given environment. Video frames are generated by drawing samples from this prior and combining them with a deterministic estimate of the future frame. The approach is simple and easily trained end-to-end on a variety of datasets. Sample generations are both varied and sharp, even many frames into the future, and compare favorably to those from existing approaches.

연구 동기 및 목표

• 본질적인 세계의 불확실성 하에서 미래 비디오 프레임을 예측하는 문제의 중요성을 부각한다.
• 결정론적 예측과 확률적 잠재 변수(latent variables)를 분리하는 확률적 비디오 생성 모델을 제안한다.
• 중요한 곳에서의 불확실성을 모델링하기 위해 시간이 지남에 따라 변하는 학습된 사전(prior)을 도입한다(예: 충돌 상황).
• 잠재 분포를 추정하기 위한 순환 추론 네트워크로 엔드-투-엔드 학습을 가능하게 한다.
• 실제 데이터 세트와 합성 데이터 세트에서 접근법을 평가하여 선명하고 다양한 생성 결과를 보여준다.

제안 방법

• 시간 의존 잠재 변수 z_t와 결정론적 프레임 예측기 p_theta를 결합한다.
• q_phi(z_t|x_1:t)와 사전 p(z) 또는 p_psi(z_t|x_1:t-1) 사이의 KL 항을 포함하는 변분 하한(bound)를 사용한다.
• 두 가지 변형을 제공한다: 고정된 사전 p(z)=N(0,I)를 갖는 SVG-FP와 학습된 시간-변화 사전 p_psi(z_t|x_1:t-1)를 갖는 SVG-LP.
• 후방 분포를 근사하기 위한 추론 네트워크 q_phi(z_t|x_1:t)로 학습하고 샘플링을 위해 재매개변화를 사용한다.
• SVG-LP에서 사전 네트워크는 과거 프레임에 조건화되어 다음 단계의 잠재 분포를 예측하므로 더 선명한 장기 생성이 가능하다.

실험 결과

연구 질문

• RQ1 매 시간 단계마다 잠재 변수를 사용하는 확률적 비디오 생성 모델이 순전히 결정론적 모델보다 미래 프레임의 분포를 더 잘 포착할 수 있는가?
• RQ2 시간에 따라 변하는 사전 학습이 샘플의 선명도와 현실감을 향상시키는가, 특히 충돌과 같은 본질적으로 불확실한 사건 주변에서?
• RQ3 순환 추론 네트워크를 포함한 엔드-투-엔드 학습이 기존 연구와 비교하여 학습 안정성과 생성 품질에 어떤 차이가 있는가?
• RQ4 실제 및 합성 데이터 세트에서 SVG-FP와 SVG-LP의 비교 이점은 무엇인가?
• RQ5 모델이 적대적 학습 없이도 다양한 미래를 생성할 수 있는가?

주요 결과

• SVG-FP 및 SVG-LP는 데이터 세트 전반에서 결정론적 기준선보다 더 선명하고 다양한 미래 프레임을 생성한다.
• 학습된 사전에서 불확실성 처리를 전문화함으로써 SVG-LP가 종종 SVG-FP보다 더 또렷하고 장기적인 생성이 더 정확하다.
• 확률적 이동 MNIST에서 SVG-LP는 미래의 분포를 포착하고 많은 스텝 후에도 선명함을 유지한다.
• BAIR 로봇 데이터에서 SVG-FP와 SVG-LP는 SSIM에서 선도 연구를 앞지르고 PSNR에서도 경쟁력을 보이며 SVG-LP가 더 선명한 프레임을 제공한다.
• 정성적 결과는 다양한 그럴듯한 미래와 정확한 움직임을 보여주며, 특히 충돌과 같은 불확실한 사건 주변에서 그렇다.