[논문 리뷰] A Two-Stream Variational Adversarial Network for Video Generation.

Ximeng Sun, Huijuan Xu외 1명|arXiv (Cornell University)|2018. 12. 03.

Generative Adversarial Networks and Image Synthesis인용 수 13

한 줄 요약

이 논문은 병렬 생성기와 적응형 운동 커널을 사용하여 영상 합성에서 콘텐츠와 운동 생성을 분리하는 두 개의 스트림을 갖춘 변동형 적대적 네트워크인 TwoStreamVAN을 제안한다. 다중 척도에서 특징을 점진적으로 융합함으로써 Weizmann, MUG 및 새로운 합성 인간 동작 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이는 이전 방법들에 비해 현실성과 운동 품질 측면에서 뚜렷한 우월성을 보인다.

ABSTRACT

Video generation is an inherently challenging task, as it requires the model to generate realistic content and motion simultaneously. Existing methods generate both motion and content together using a single generator network, but this approach may fail on complex videos. In this paper, we propose a two-stream video generation model that separates content and motion generation into two parallel generators, called Two-Stream Variational Adversarial Network (TwoStreamVAN). Our model outputs a realistic video given an input action label by progressively generating and fusing motion and content features at multiple scales using adaptive motion kernels. In addition, to better evaluate video generation models, we design a new synthetic human action dataset to bridge the difficulty gap between over-complicated human action datasets and simple toy datasets. Our model significantly outperforms existing methods on the standard Weizmann Human Action and MUG Facial Expression datasets, as well as our new dataset.

연구 동기 및 목표

• 실제 영상에서 일관된 운동과 콘텐츠를 동시에 생성하는 도전 과제를 해결하기 위해.
• 복잡한 영상 생성에서 어려움을 겪는 단일 생성기 모델의 한계를 극복하기 위해.
• 간단한 데이터셋과 지나치게 복잡한 데이터셋 사이의 격차를 메우기 위해 새로운 합성 인간 동작 데이터셋을 설계하기 위해.
• 콘텐츠와 운동 생성을 병렬 스트림으로 분리함으로써 영상 생성 품질을 향상시키기 위해.
• 적응형 운동 커널을 사용하여 다중 척도에서 운동 및 콘텐츠 특징을 점진적으로 융합함으로써 영상의 시공간 일관성을 향상시키기 위해.

제안 방법

• 모델는 콘텐츠 생성을 위한 하나, 운동 생성을 위한 하나의 병렬 생성기를 사용하며, 변동형 적대적 프레임워크를 통해 훈련된다.
• 적응형 운동 커널을 사용하여 다중 척도에서 운동 및 콘텐츠 특징을 점진적으로 융합함으로써 시공간 일관성을 향상시킨다.
• 행동 레이블을 입력으로 사용하는 조건부 VAE 아키텍처를 사용하여 영상 생성를 안내한다.
• 적응형 운동 커널은 운동 패턴에 따라 동적으로 조정되어 시간적 일관성을 향상시킨다.
• 통제된 복잡성을 갖는 벤치마크를 제공하기 위해 새로운 합성 인간 동작 데이터셋을 구축한다.
• 적대적 훈련 프레임워크에는 콘텐츠와 운동의 현실성에 대한 구분자들이 포함되어 있다.

실험 결과

연구 질문

• RQ1 콘텐츠와 운동 생성을 분리함으로써 복잡한 시나리오에서 영상 합성 품질을 향상시킬 수 있는가?
• RQ2 적응형 운동 커널의 사용이 영상 프레임 간 시간적 일관성을 향상시키는 데 얼마나 효과적인가?
• RQ3 중간 수준의 복잡성을 갖는 새로운 합성 데이터셋이 영상 생성 모델 평가에 더 나은가?
• RQ4 표준 벤치마크에서 두 스트림 아키텍처는 단일 생성기 접근법보다 어떻게 비교되는가?
• RQ5 다중 척도에서 특징을 점진적으로 융합함으로써 영상의 현실성과 운동 품질은 얼마나 향상되는가?

주요 결과

• TwoStreamVAN은 Weizmann Human Action 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 방법들에 비해 영상의 현실성과 운동 일관성 측면에서 뛰어난 성능을 보였다.
• MUG Facial Expression 데이터셋에서 모델은 얼굴 운동의 복잡성에 대해 뛰어난 내성과 함께 생성 품질을 크게 향상시켰다.
• 새로 제안된 합성 인간 동작 데이터셋에서 TwoStreamVAN은 다양한 운동 패턴에 걸쳐 뛰어난 일반화 능력과 일관성을 보였다.
• 제거 실험을 통해 두 스트림 아키텍처와 적응형 운동 커널이 성능 향상에 핵심적인 역할을 한다는 것이 확인되었다.
• 다중 척도 특징을 활용한 점진적 융합 메커니즘은 더 현실적이고 시간적으로 안정된 영상 출력을 이끌어냈다.
• 모델는 정량적 지표와 정성적 영상 품질 모두에서 이전 방법들을 초월하는 성능을 보였다.