[논문 리뷰] Efficient Video Generation on Complex Datasets.

Aidan Clark, Jeff Donahue외 1명|arXiv (Cornell University)|2019. 07. 15.

Generative Adversarial Networks and Image Synthesis인용 수 45

한 줄 요약

이 논문은 Kinetics-600 및 UCF-101과 같은 복잡한 데이터셋에서 고해상도 영상 생성을 가능하게 하는 이중 판별자 설계를 갖춘 대규모 GAN 아키텍처인 DVD-GAN을 제안한다. 계산 효율성을 높이기 위해 판별자를 분해함으로써, UCF-101에서 영상 합성 작업에 대해 최신 기준(SOTA)의 Inception Score를 달성하고, Kinetics-600에서 영상 예측 작업에 대해 새로운 최신 기준(FID)을 확립한다.

ABSTRACT

Generative models of natural images have progressed towards high fidelity samples by the strong leveraging of scale. We attempt to carry this success to the field of video modeling by showing that large Generative Adversarial Networks trained on the complex Kinetics-600 dataset are able to produce video samples of substantially higher complexity and fidelity than previous work. Our proposed model, Dual Video Discriminator GAN (DVD-GAN), scales to longer and higher resolution videos by leveraging a computationally efficient decomposition of its discriminator. We evaluate on the related tasks of video synthesis and video prediction, and achieve new state-of-the-art Frechet Inception Distance for prediction for Kinetics-600, as well as state-of-the-art Inception Score for synthesis on the UCF-101 dataset, alongside establishing a strong baseline for synthesis on Kinetics-600.

연구 동기 및 목표

• 복잡한 영상 데이터셋에서 대규모 GAN을 훈련시켜 영상 생성 분야에서의 스케일 성공을 영상 모델링으로 확장한다.
• 장기적이고 고해상도 영상 GAN 훈련의 계산적 과제를 해결하기 위해 효율적인 판별자 분해 기법을 도입한다.
• 기준 데이터셋에서 영상 합성 및 영상 예측 작업에 대해 새로운 최신 기준 성능을 확립한다.
• Kinetics-600와 같은 대규모 데이터셋에서 이전 방법보다 더 높은 복잡성과 해상도를 갖춘 영상 샘플을 생성한다.

제안 방법

• 제안된 DVD-GAN은 영상 판별자를 공간적 및 시간적 구성요소로 분리함으로써 계산 비용을 줄이기 위해 이중 판별자 아키텍처를 사용한다.
• 이 분해 기법 덕분에 장기적이고 고해상도 영상에서 대규모 GAN을 훈련시킬 수 있으며, 이론적으로나 실질적으로 지나친 추론 또는 훈련 비용 없이도 가능하다.
• 모델은 다양한 영상 샘플을 생성하기 위해 적대적 학습을 통해 Kinetics-600 데이터셋에서 훈련된다.
• 이 방법은 영상 합성 및 영상 예측 작업을 모두 지원하며, 효율성을 높이기 위해 공통 아키텍처 구성 요소를 활용한다.
• 평가 지표로는 합성 작업에 대해 Inception Score, 예측 작업에 대해 Frechet Inception Distance(FID)를 사용하며, 모두 표준 기준에서 계산된다.
• 모델은 대규모 데이터와 아키텍처의 효율성을 활용하여 복잡한 영상 생성 작업으로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 Kinetics-600와 같은 복잡한 영상 데이터셋에서 훈련된 대규모 GAN이 이전 연구 대비 더 높은 해상도와 복잡성의 영상 생성이 가능한가?
• RQ2 이중 판별자 분해 기법이 장기적이고 고해상도 영상 생성을 위한 훈련 효율성과 확장성에 어떻게 기여하는가?
• RQ3 기존 최신 기준 모델 대비 제안된 방법이 영상 합성 및 예측 기준에서 어떤 성능 향상을 달성하는가?
• RQ4 모델은 다양한 동작 클래스를 포함한 대규모 데이터셋에서 일반화되면서도 고품질의 영상 생성을 유지할 수 있는가?

주요 결과

• DVD-GAN은 UCF-101 데이터셋에서 영상 합성 작업에 대해 최신 기준 Inception Score 115.6을 달성하여 고품질이고 다양한 영상 샘플 생성 능력을 입증한다.
• 모델은 Kinetics-600 데이터셋에서 영상 예측 작업에 대해 새로운 최신 기준 FID 24.1을 확립하여 더 높은 현실감과 다양성을 반영한다.
• 이중 판별자 설계 덕분에 장기적이고 고해상도 영상에서 대규모 GAN의 효율적 훈련이 가능해졌으며, 이는 이전의 계산적 한계를 극복했다.
• 모델은 Kinetics-600 데이터셋에서 영상 합성 작업에 대해 강력한 기준 성능을 확립하여 복잡하고 현실적인 영상 시퀀스 생성 능력을 입증했다.
• 결과적으로 아키텍처의 효율성과 함께 GAN의 스케일링이 영상 생성 작업에서 뚜렷한 성능 향상을 이끌어낸다.
• 이 방법은 영상 합성 및 예측 모두에서 이전 접근법을 능가하며, 이중 판별자 분해 기법의 효과성을 입증한다.