[논문 리뷰] Temporal Generative Adversarial Nets with Singular Value Clipping

Masaki Saito, Eiichi Matsumoto외 1명|arXiv (Cornell University)|2016. 11. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 35

한 줄 요약

이 논문은 비정형 데이터로부터 동영상 표현을 공동으로 학습하는 두 개의 스트림 생성기 아키텍처를 가진 시간적 생성 적대망(TGAN)을 제안한다. 시간 생성기와 이미지 생성기를 포함하며, 워셔스타인 GAN과 특이값 클리핑(SVC)을 통합함으로써 안정적인 훈련과 고품질, 다양한 동영상을 생성한다. UCF-101 및 이동형 MNIST 벤치마크에서 이전의 3D GAN보다 인ception 스코어와 적대적 메트릭에서 뛰어난 성능을 기록한다.

ABSTRACT

In this paper, we propose a generative model, Temporal Generative Adversarial Nets (TGAN), which can learn a semantic representation of unlabeled videos, and is capable of generating videos. Unlike existing Generative Adversarial Nets (GAN)-based methods that generate videos with a single generator consisting of 3D deconvolutional layers, our model exploits two different types of generators: a temporal generator and an image generator. The temporal generator takes a single latent variable as input and outputs a set of latent variables, each of which corresponds to an image frame in a video. The image generator transforms a set of such latent variables into a video. To deal with instability in training of GAN with such advanced networks, we adopt a recently proposed model, Wasserstein GAN, and propose a novel method to train it stably in an end-to-end manner. The experimental results demonstrate the effectiveness of our methods.

연구 동기 및 목표

• 정적 배경 가정 없이 비정형 데이터로부터 다양하고 고품질의 동영상을 생성하는 데 도전하는 것.
• 복잡한 시간적 및 3D 아키텍처를 사용할 경우 특히 발생하는 딥 GAN의 훈련 불안정성 문제를 해결하는 것.
• 더 나은 안정성과 일반화 성능을 갖춘 종단간 동영상 생성기의 훈련을 가능하게 하는 방법을 개발하는 것.
• 분리된 잠재 공간 모델링을 통해 프레임 보간 및 기타 동영상 생성 작업으로의 자연스러운 확장 가능성을 제공하는 것.
• 워셔스타인 GAN 훈련에서의 하이퍼파ram터 민감도를 제거하기 위해 안정적인 최적화를 위한 새로운 클리핑 메커니즘을 도입하는 것.

제안 방법

• 생성기는 두 구성요소로 분해된다: 단일 잠재 벡터를 시퀀스별 프레임 특화 잠재 코드로 매핑하는 시간 생성기와, 이러한 코드에서 동영상 프레임을 합성하는 이미지 생성기.
• 판별기는 3D 합성곱 레이어를 사용하여 (채널 × 시간 × 높이 × 너비) 텐서 형식의 진짜 및 생성된 동영상 클립을 평가한다.
• 훈련을 안정화하기 위해 워셔스타인 GAN에 기울기 보정을 적용하여 표준 GAN 손실을 지구 거리(earth mover's distance)를 최소화하는 비용 기반 목표로 대체한다.
• 판별기의 가중치 행렬의 특이값을 클리핑하여 비용 함수의 리프시츠 제약 조건을 강제하는 새로운 특이값 클리핑(SVC) 방법을 도입한다. 이는 기존 WGAN에서 사용하는 표준 가중치 클리핑을 대체한다.
• SVC는 역전파 동안 적용되어 기울기 안정성을 유지하고 하이퍼파ram터 튜닝에 대한 민감도를 감소시킨다.
• 클래스 사전 확률를 생성기에 통합하여 조건부 생성을 지원함으로써 행동 조건 기반 동영상 합성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 분리된 두 스트림 생성기 아키텍처(시간 + 이미지 생성기)가 종단간 3D 디컨볼루션 GAN보다 동영상 생성 품질을 향상시킬 수 있는가?
• RQ2 제안된 특이값 클리핑(SVC) 방법이 복잡한 동영상 생성 작업에서 워셔스타인 GAN의 훈련 안정성을 뚜렷이 향상시킬 수 있는가?
• RQ3 TGAN 모델은 정적 배경에 대한 사전 가정 없이 다양하고 현실적인 동영상 시퀀스를 생성할 수 있는가?
• RQ4 기본 벤치마크 데이터셋에서 기존 GAN과 비교해 인ception 스코어와 생성 적대적 메트릭(GAM) 측면에서 제안된 방법은 어떻게 성능을 내는가?
• RQ5 TGAN 프레임워크는 어느 정도 프레임 보간 및 조건부 동영상 생성으로까지 확장 가능한가?

주요 결과

• UCF-101 데이터셋에서 특이값 클리핑을 사용한 TGAN은 인ception 스코어 11.85 ± 0.07을 기록하여 3D GAN(4.78 ± 0.02)과 Video GAN(8.31 ± 0.09)을 모두 앞서며 우월한 성능을 보였다.
• SVC를 사용한 조건부 TGAN은 인ception 스코어 15.83 ± 0.18을 기록하여 실제 데이터의 상한선인 34.49 ± 0.03에 가까워졌다.
• 이동형 MNIST 벤치마크에서 TGAN은 GAM 스코어 1.27을 기록하여 3D 모델(1.03)과 다른 기준 모델들을 크게 앞섰다.
• 제안된 특이값 클리핑(SVC) 방법은 하이퍼파ram터 민감도를 감소시키고, 기존 가중치 클리핑이 실패할 경우에도 안정적인 훈련을 가능하게 하였다.
• 정성적 결과에서는 TGAN이 더 다양한 동영상 시퀀스를 생성하며, 일관된 운동과 타당한 물체 역학을 구현함을 확인하였다.
• 분리된 아키텍처는 시간 생성기가 누락된 프레임을 위한 중간 잠재 상태를 생성할 수 있기 때문에 자연스럽게 프레임 보간을 지원한다.