[논문 리뷰] To Create What You Tell: Generating Videos from Captions

Yingwei Pan, Zhaofan Qiu외 3명|arXiv (Cornell University)|2018. 04. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 13

한 줄 요약

이 논문은 3D 시공간 합성곱, 다중 수준 판별자, 영상 실사성, 캡션-영상 일치도, 시간적 일관성의 공동 최적화를 통합함으로써 자연어 캡션에 조건화된 영상을 생성하는 새로운 시간적 GAN 프레임워크인 TGANs-C를 제안한다. 이 모델은 MSVD에서 최신 기준 성능을 달성하여 인간 평가 및 생성적 적대적 메트릭 모두에서 베이스라인을 능가한다.

ABSTRACT

We are creating multimedia contents everyday and everywhere. While automatic content generation has played a fundamental challenge to multimedia community for decades, recent advances of deep learning have made this problem feasible. For example, the Generative Adversarial Networks (GANs) is a rewarding approach to synthesize images. Nevertheless, it is not trivial when capitalizing on GANs to generate videos. The difficulty originates from the intrinsic structure where a video is a sequence of visually coherent and semantically dependent frames. This motivates us to explore semantic and temporal coherence in designing GANs to generate videos. In this paper, we present a novel Temporal GANs conditioning on Captions, namely TGANs-C, in which the input to the generator network is a concatenation of a latent noise vector and caption embedding, and then is transformed into a frame sequence with 3D spatio-temporal convolutions. Unlike the naive discriminator which only judges pairs as fake or real, our discriminator additionally notes whether the video matches the correct caption. In particular, the discriminator network consists of three discriminators: video discriminator classifying realistic videos from generated ones and optimizes video-caption matching, frame discriminator discriminating between real and fake frames and aligning frames with the conditioning caption, and motion discriminator emphasizing the philosophy that the adjacent frames in the generated videos should be smoothly connected as in real ones. We qualitatively demonstrate the capability of our TGANs-C to generate plausible videos conditioning on the given captions on two synthetic datasets (SBMG and TBMG) and one real-world dataset (MSVD). Moreover, quantitative experiments on MSVD are performed to validate our proposal via Generative Adversarial Metric and human study.

연구 동기 및 목표

• 자연어 캡션으로부터 시간적으로 일관되고 의미적으로 일치하는 영상을 생성하는 과제를 해결하기 위해.
• 시공간적 의존성을 모델링하여 GAN을 영상 합성으로 확장하기 위해.
• 실사성, 캡션-영상 매칭, 운동의 부드러움을 공동 최적화하여 영상 품질을 향상시키기 위해.
• 노이즈와 텍스트 임베딩 양쪽에 조건화된 영상 생성을 위한 통합 프레임워크를 제공하기 위해.
• 합성 및 실세계 데이터셋에서의 정성적 및 정량적 평가를 통해 모델의 효과성을 검증하기 위해.

제안 방법

• 생성자는 노이즈 벡터와 캡션 임베딩의 연결 입력을 3D 합성곱 네트워크를 통해 영상 프레임 시퀀스로 변환한다.
• 판별자는 세 개의 병렬 브랜치로 구성되며, 각각 다른 수준의 실사성과 일치도를 대상으로 한다: 영상 판별자, 프레임 판별자, 운동 판별자.
• 영상 판별자는 실제 영상와 생성된 영상 간을 구분하고 영상-캡션 일치도를 검증한다.
• 프레임 판별자는 프레임 수준의 실사성과 캡션에 대한 일치도를 평가한다.
• 운동 판별자는 실제 영상와 생성된 영상의 인접 프레임 간 이동량을 비교하여 시간적 일관성을 확보한다.
• 영상 수준 및 프레임 수준의 매칭 인식 손실, 그리고 운동 일관성에 기반한 시간적 일관성 손실의 세 가지 손실 구성 요소를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델은 입력 캡션과 시간적으로 일관되고 의미적으로 일치하는 영상을 생성할 수 있는가?
• RQ2 다중 수준 판별자는 텍스트 조건화 영상 생성의 품질과 일관성에 어떻게 기여하는가?
• RQ3 인접 프레임 간의 운동을 명시적으로 모델링함으로써 영상의 실사성이 어떻게 향상되는가?
• RQ4 노이즈와 함께 캡션 임베딩을 통합함으로써 무조건적 GAN에 비해 생성 정밀도는 어떻게 향상되는가?
• RQ5 제안된 아키텍처는 정량적 메트릭과 인간 평가 모두에서 기존의 베이스라인을 어느 정도 능가하는가?

주요 결과

• MSVD 데이터셋에서의 인간 평가에서 TGANs-C는 실사성 평균 순위 1.76, 관련성 1.81, 일관성 1.86을 기록하여 모든 베이스라인을 크게 능가했다.
• 생성적 적대적 메트릭 결과에 따르면, TGANs-C는 VGAN 대비 샘플 비율 0.39, GAN-CLS 대비 0.53를 기록하여 실사성 영상 생성 능력이 뛰어나다는 것을 보여주었다.
• 운동 판별자는 인접 프레임 간의 전환을 더욱 부드럽게 만들어 시간적 일관성 향상 효과를 입증했다.
• 프레임 수준 및 영상 수준의 매칭 인식 손실은 생성된 콘텐츠와 입력 캡션 간의 일치도를 크게 향상시켰다.
• 테스트 비율이 항상 1에 가까운 것으로 나타나 판별자 네트워크에서 심각한 과적합이 발생하지 않았다는 점에서 모델의 강건성을 입증했다.
• SBMG, TBMG, MSVD에서의 정성적 결과는 TGANs-C가 입력 캡션의 의미를 잘 반영한 타당하고 동적인 영상을 생성했음을 보여주었다.