[논문 리뷰] Improving Video Generation for Multi-functional Applications

Bernhard Kratzwald, Zhiwu Huang외 3명|arXiv (Cornell University)|2017. 11. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 57인용 수 13

한 줄 요약

이 논문은 배경/전경 또는 동적/정적 콘텐츠를 분리하지 않고도 고품질 비디오를 생성하는 one-stream 비디오 GAN인 iVGAN을 제안한다. 안정적인 워셔스타인 GAN 프레임워크를 사용하며, 다양한 데이터셋에서 최신 기술을 초월한다. 또한 비디오 색상화, 인painting, 미래 예측과 같은 다기능 응용을 가능하게 하여 기존에 GAN으로 다루지 못했던 과제들을 해결한다.

ABSTRACT

In this paper, we aim to improve the state-of-the-art video generative adversarial networks (GANs) with a view towards multi-functional applications. Our improved video GAN model does not separate foreground from background nor dynamic from static patterns, but learns to generate the entire video clip conjointly. Our model can thus be trained to generate - and learn from - a broad set of videos with no restriction. This is achieved by designing a robust one-stream video generation architecture with an extension of the state-of-the-art Wasserstein GAN framework that allows for better convergence. The experimental results show that our improved video GAN model outperforms state-of-theart video generative models on multiple challenging datasets. Furthermore, we demonstrate the superiority of our model by successfully extending it to three challenging problems: video colorization, video inpainting, and future prediction. To the best of our knowledge, this is the first work using GANs to colorize and inpaint video clips.

연구 동기 및 목표

• 배경 안정성 또는 전경/배경 분리가 필요 없는 강력하고 제약 없는 비디오 생성 프레임워크를 개발하는 것.
• 입력 데이터에 대한 아키텍처 제약 없이 다양한 비디오 생성 과제를 위한 엔드 투 엔드 비지도 학습을 가능하게 하는 것.
• 비디오 색상화, 인painting, 미래 예측과 같은 다기능 응용으로 모델을 확장하여 생성을 넘어서 일반화 능력을 입증하는 것.
• 카메라가 움직이거나 배경이 움직이는 비디오에서 실패하는 이전의 두 개의 스트림 모델의 한계를 극복하는 것.

제안 방법

• 공간적 및 시간적 종속성을 분리하지 않고 동시에 모델링하는 one-stream 비디오 생성자 설계로, 비디오를 전경/배경 또는 동적/정적 구성요소로 분해하지 않는다.
• 학습 안정화와 수렴 개선을 위해 기울기 페널티를 적용한 워셔스타인 GAN 프레임워크를 채택하여 깊이 있는 잔차 아키텍처를 가능하게 한다.
• 비디오 색상화, 인painting, 미래 예측과 같은 다기능 과제를 위해 기본 생성자 확장용 보조 인코더와 과제별 손실 함수를 도입한다.
• 각 과제에 맞게 조정된 적대적 손실, 재구성 손실, 지각 손실을 사용하여 엔드 투 엔드로 비지도 학습을 수행한다.
• 재구성되거나 생성된 프레임 간에 자연스러운 운동과 물체 연속성을 유지하기 위해 시간적 일관성 손실을 적용한다.
• 모델이 시나리오의 역학을 학습한 데 기반해 카메라 움직임이 있는 비디오를 포함한 처리되지 않은 비디오에 적용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 one-stream 비디오 GAN 아키텍처가 배경 안정성이나 객체 분리에 대한 사전 가정 없이 고품질 비디오를 생성할 수 있는가?
• RQ2 제안된 iVGAN 모델이 비디오 색상화, 인painting, 미래 예측과 같은 다양한 비디오 생성 과제에 일반화될 수 있는가?
• RQ3 카메라가 움직이거나 배경이 움직이는 비디오에서, 이전 모델이 실패하는 상황에서 모델의 성능은 어떠한가?
• RQ4 모델이 생성되거나 재구성된 비디오 클립에서 공간적·시간적 일관성을 얼마나 잘 학습하고 강제로 구현할 수 있는가?

주요 결과

• iVGAN은 여러 도전적인 데이터셋에서 최신 기술을 초월하며, 배경 안정화 없이도 뛰어난 비디오 생성 품질을 입증한다.
• 아마존 MTurk에서 소금과胡椒 인painting에 대해 사용자 평가 점수 3.63/4.10을 기록하여, 가림을 견딜 수 있는 높은 현실감을 보인다.
• 신호 대 잡음비(Peak signal-to-noise ratio, PSNR) 점수는 랜덤 박스 위치에서의 인painting 성능이 고정 위치와 거의 동일함을 확인하여, 입력 편향에 대한 강건성을 입증한다.
• 미래 예측 과제에서는 단일 프레임에서조차 타당한 운동을 생성하지만, 재구성 가이던스가 제한되어 있어 향후 프레임은 더 흐릿해진다.
• 부분적으로 가림된 물체를 시간에 걸쳐 일관되게 재구성할 수 있도록 모델이 학습하여 강력한 시간적 일관성을 보여준다.
• 이 연구는 GAN을 비디오 색상화 및 인painting에 적용한 최초의 작업으로, 모델이 의미적 콘텐츠를 학습하고 이를 다양한 과제에 적용할 수 있음을 입증한다.