[논문 리뷰] Probabilistic Video Generation using Holistic Attribute Control

Jiawei He, Andreas Lehrmann외 3명|arXiv (Cornell University)|2018. 03. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 5

한 줄 요약

이 논문은 구조화된 잠재 공간과 통합된 속성 제어(예: 정체성, 동작)를 사용하여 다양한 시간적으로 일관된 비디오 시퀀스를 생성하는 확률적 비디오 생성 프레임워크인 VideoVAE를 제안한다. 변분 오토인코더(VAEs)와 LSTMs를 결합하여 시간 동역학을 모델링하고, 속성에 대한 추론과 조건부 생성을 모두 가능하게 함으로써, 다양한 데이터셋에서 비디오 생성 품질과 다양성 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Videos express highly structured spatio-temporal patterns of visual data. A video can be thought of as being governed by two factors: (i) temporally invariant (e.g., person identity), or slowly varying (e.g., activity), attribute-induced appearance, encoding the persistent content of each frame, and (ii) an inter-frame motion or scene dynamics (e.g., encoding evolution of the person ex-ecuting the action). Based on this intuition, we propose a generative framework for video generation and future prediction. The proposed framework generates a video (short clip) by decoding samples sequentially drawn from a latent space distribution into full video frames. Variational Autoencoders (VAEs) are used as a means of encoding/decoding frames into/from the latent space and RNN as a wayto model the dynamics in the latent space. We improve the video generation consistency through temporally-conditional sampling and quality by structuring the latent space with attribute controls; ensuring that attributes can be both inferred and conditioned on during learning/generation. As a result, given attributes and/orthe first frame, our model is able to generate diverse but highly consistent sets ofvideo sequences, accounting for the inherent uncertainty in the prediction task. Experimental results on Chair CAD, Weizmann Human Action, and MIT-Flickr datasets, along with detailed comparison to the state-of-the-art, verify effectiveness of the framework.

연구 동기 및 목표

• 단일 초기 프레임 또는 부분적인 속성으로부터 시간적으로 일관되고 다양한 비디오 시퀀스를 생성하는 데 도전하는 것.
• 미래의 운동 패턴에 대한 불확실성을 고려하는 확률적 과정으로 비디오 생성을 모델링하는 것.
• 분리된 제어 가능한 속성(예: 정체성, 동작)으로 잠재 공간을 구조화하여 비디오 생성 품질과 일관성을 향상시키는 것.
• 학습 중에 조건부 생성(주어진 속성 기반)과 속성 추론을 모두 가능하게 하여 제어성과 일반화 능력을 향상시키는 것.

제안 방법

• 비디오 프레임을 고차원 잠재 분포로 인코딩하기 위해 VAE를 사용하여 시각적 콘텐츠의 확률적 인코딩을 가능하게 한다.
• 잠재 공간 내의 시간 동역학을 모델링하기 위해 LSTM을 활용하여 프레임 간 운동 변화를 포착한다.
• 데이터에서 추론하거나 생성 중에 고정할 수 있는 통합된 속성 제어 기능을 갖춘 구조화된 잠재 공간을 도입한다.
• 이전 잠재 상태에 조건을 두어 각 샘플을 조건화함으로써 생성된 프레임 간의 일관성을 보장하는 시간에 따라 조건화된 샘플링을 적용한다.
• 잠재 공간 내 계층적 조건부 사후 분포를 통해 속성 조건부 생성과 추론을 동시에 가능하게 한다.
• 재구성 및 KL 발산 항을 최적화하는 변분 추론 목표를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 부분적인 속성 제어 조건 하에서 생성된 비디오 모델이 다양한 동시에 시간적으로 일관된 비디오 시퀀스를 생성할 수 있는가?
• RQ2 잠재 공간 내의 구조화된 속성 제어가 비디오 생성 품질과 제어 가능성에 어떻게 기여하는가?
• RQ3 속성 추론과 조건부 생성이 함께 작용할 때 생성 성능과 분리도 향상에 얼마나 기여하는가?
• RQ4 최신 기술 수준의 모델들과 비교했을 때 제안된 프레임워크는 다양성, 품질, 일관성 측면에서 어떤가?

주요 결과

• 제안된 VideoVAE는 MoCoGAN 벤치마크에서 인ception 스코어 69.55를 기록하여 기준 모델인 MoCoGAN(13.87)을 크게 앞서며 성능을 뛰어넘었다.
• 완전한 속성 제어(예: 정체성 및 동작)를 통해 단일 모드의 일관된 비디오 시퀀스를 생성하여 운동 및 외관에 대한 불확실성을 제거했다.
• 부분적 속성 제어(예: 동작는 고정하지만 정체성에선 다양성 유지)를 통해 다양한 정체성 간의 샘플을 생성하여 제어된 다양성을 입증했다.
• 시간에 따라 변화하는 속성 제어를 통해 동작 간 부드러운 전환(예: 걷기 → 달리기 → 걷기)을 가능하게 하여 현실적인 운동 전환을 생성했다.
• Chair-CAD, Weizmann Human Action, MIT Flickr 데이터셋에서의 정성적 결과는 구조화된 및 비구조화된 시나리오 모두에서 현실적이고 일관된 비디오 생성을 보여주었다.
• 제거 실험을 통해 속성 제어와 시간에 따라 조건화된 샘플링이 생성 일관성과 품질 향상에 필수적임을 확인했다.