[논문 리뷰] Stochastic Adversarial Video Prediction

Alex X. Lee, Richard Zhang외 4명|arXiv (Cornell University)|2018. 04. 04.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 226

한 줄 요약

본 논문은 SAVP를 제시한다. SAVP는 VAE 기반 잠재 변수와 GAN 기반 적대적 학습을 결합하여 다양하고 현실적인 미래 비디오 프레임을 생성하는 확률적 비디오 예측 모델이며, 현실감과 다양성 측면에서 이전 방법들보다 우수하다.

ABSTRACT

Being able to predict what may happen in the future requires an in-depth understanding of the physical and causal rules that govern the world. A model that is able to do so has a number of appealing applications, from robotic planning to representation learning. However, learning to predict raw future observations, such as frames in a video, is exceedingly challenging -- the ambiguous nature of the problem can cause a naively designed model to average together possible futures into a single, blurry prediction. Recently, this has been addressed by two distinct approaches: (a) latent variational variable models that explicitly model underlying stochasticity and (b) adversarially-trained models that aim to produce naturalistic images. However, a standard latent variable model can struggle to produce realistic results, and a standard adversarially-trained model underutilizes latent variables and fails to produce diverse predictions. We show that these distinct methods are in fact complementary. Combining the two produces predictions that look more realistic to human raters and better cover the range of possible futures. Our method outperforms prior and concurrent work in these aspects.

연구 동기 및 목표

• 미래 비디오 예측의 다중 모드 특성을 확률적 특성으로 모델링하여 다루는 것.
• 잠재 변수 모형화와 적대적 학습의 결합으로 현실성과 다양성을 향상시키는 것.
• VAE와 GAN 구성 요소가 확률적 비디오 예측에서 서로를 어떻게 보완하는지 평가하는 것.
• 현실성, 다양성, 정확성에 걸쳐 SAVP를 기존의 VAE 기반 및 GAN 기반 방법과 비교하는 것.
• 사람의 판단과 지각적 다양성 지표를 포함하는 평가 전략을 제시하는 것.

제안 방법

• 초기 프레임과 시간에 따라 변화하는 잠재 코드들을 입력으로 받는 순환 생성기를 사용하여 미래 프레임을 예측한다.
• 학습은 변분 하한(variational lower bound) 목표와 적대적 손실을 결합한다( VAE-GAN 프레임워크).
• 잠재 코드는 인코더를 사용해 후방 분포를 형성하도록 추정되며 표준 가우시안 사전으로의 정규화에 맞춰 정규화된다.
• 별도의 비디오 구분자(video discriminator)(및 VAE 특화 구분자)가 결합된 비디오 분포를 일치시켜 현실감을 유도한다.
• 생성기는 채널 차원을 따라 잠재 코드에 조건화된 스킵 연결이 있는 합성곱 LSTM이다.
• 평가에는 인간 판단과 지각적 다양성 지표를 포함한 질적 및 정량적 지표가 사용된다.

실험 결과

연구 질문

• RQ1 VAE-GAN 아키텍처가 다양하고 현실적인 확률적 비디오 예측을 모두 생성할 수 있는가?
• RQ2 잠재 변수 모형화와 적대적 학습을 결합하는 것이 순수한 VAE 또는 순수한 GAN 접근 방식보다 비디오 예측에서 더 나은 성능을 보이는가?
• RQ3 실제 데이터셋에서 SAVP 변형들 간의 현실성, 다양성, 정확도의 trade-off는 어떻게 되는가?
• RQ4 비디오 현실성과 예측 다양성에 대한 인간 판단을 가장 잘 반영하는 평가 전략은 무엇인가?

주요 결과

• SAVP 모델은 기존 VAE 기반 방법보다 현실감을 향상시키고, GAN 기반 방법보다 다양성을 향상시킨다.
• VAE 기반 변형은 더 높은 다양성을, GAN 기반 변형은 더 높은 현실감을 보인다; SAVP는 두 가지를 균형 있게 달성한다.
• 표준 픽셀 단위 지표(PSNR/SSIM)는 인간 판단과 일치하지 않을 수 있어 인간 2AFC 테스트를 사용했다.
• 다양성은 VGG 기반 지각 거리로 측정되며 SAVP가 다양한 미래를 유지함을 보인다.
• BAIR 및 KTH 데이터셋에서 인간 평가에서 SAVP가 기존 방법보다 더 높은 현실감을 달성한다.
• 변인분해 결과는 최상의 전체 성능을 얻으려면 VAE와 GAN 구성 요소 모두의 필요성을 보여준다.