[논문 리뷰] Training Generative Adversarial Networks Via Turing Test

Jianlin Su|arXiv (Cornell University)|2018. 10. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 11

한 줄 요약

이 논문은 T-GAN을 제안하며, 이는 생성적 적대 신경망의 학습 프레임워크로, 적대적 과정을 튜링 테스트로 간주하여 연합 분포 $\tilde{p}(x_r)q(x_f)$와 $\tilde{p}(x_f)q(x_r)$ 사이의 거리를 최소화한다. 생성자 학습 중에 진짜 샘플 신호를 통합함으로써 T-GAN은 고해상도 이미지(256×256)에서 초당 수렴 속도가 빠르고 안정적인 학습을 달성하며, 하이퍼파rameter 조정 없이도 가능하다.

ABSTRACT

In this article, we introduce a new mode for training Generative Adversarial Networks (GANs). Rather than minimizing the distance of evidence distribution $ ilde{p}(x)$ and the generative distribution $q(x)$, we minimize the distance of $ ilde{p}(x_r)q(x_f)$ and $ ilde{p}(x_f)q(x_r)$. This adversarial pattern can be interpreted as a Turing test in GANs. It allows us to use information of real samples during training generator and accelerates the whole training procedure. We even find that just proportionally increasing the size of discriminator and generator, it succeeds on 256x256 resolution without adjusting hyperparameters carefully.

연구 동기 및 목표

• 256×256 이미지와 같은 고해상도 데이터셋에서 표준 GAN의 불안정성과 느린 수렴 문제를 해결한다.
• 표준 GAN에서 생성자가 진짜 데이터의 기억에만 피드백을 받는다는 한계를 극복하며, 직접적인 진짜 샘플 신호를 받도록 한다.
• 기존의 GAN 프레임워크인 SGAN과 WGAN와의 통합이 가능한 일반화된 학습 파라다임을 개발한다.
• 생성자 업데이트 중에 진짜 샘플 정보를 통합함으로써 학습 안정성과 수렴 속도가 향상됨을 입증한다.

제안 방법

• 진짜 샘플 $x_r$과 가짜 샘플 $x_f$의 연합 분포 $\tilde{p}(x_r)q(x_f)$와 $\tilde{p}(x_f)q(x_r)$ 사이의 거리를 최소화하는 새로운 적대적 목적함수를 제안한다.
• 진짜 이미지와 가짜 이미지를 모두 입력으로 받는 디스크림이네이터 $T(x_r, x_f)$를 설계하며, 인코더 $E(\bullet)$와 다층퍼셉트론 $D(\bullet)$를 사용해 인코딩된 특징의 차이를 기반으로 스칼라 출력을 계산한다.
• 새로운 목적함수를 표준 GAN(SGAN 기반)과 워셔스타인 GAN(WGAN 기반)에 통합하여 기존 아키텍처와의 호환성을 확보한다.
• 기존 GAN에서의 관행을 따르며, 디스크림이네이터 $T(x_r, x_f)$에 스펙트럴 정규화를 적용하여 학습을 안정화시킨다.
• 생성자를 디스크림이네이터 업데이트마다 두 번 업데이트하는 수정된 학습 스케줄을 도입하여 학습 효율성을 향상시킨다.
• 모든 해상도에서 동일한 하이퍼파rameter(학습률 lr=0.0002, 베타 betas=0.5)를 사용하여 Adam 옵티마이저를 적용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 생성자 학습 중에 직접적인 진짜 샘플 신호를 통합하면 GAN의 수렴 속도와 안정성이 향상되는가?
• RQ2 제안된 튜링 테스트 기반 목적함수는 고해상도 이미지 생성에서 표준 GAN보다 학습 안정성과 FID 점수에서 뛰어나게 성능을 냈는가?
• RQ3 T-GAN은 광범위한 하이퍼파rameter 조정 없이도 고품질의 256×256 이미지 생성을 달성할 수 있는가?
• RQ4 T-GAN의 수렴 속도와 FID 측면에서 최신 기술인 WGAN-GP와 RSGAN과 비교해 성능가능한가?
• RQ5 제안된 방법은 SGAN과 WGAN와 같은 다양한 GAN 프레임워크에 일반화 가능한가?

주요 결과

• T-SGAN과 T-WGAN는 약 10,000회 반복만으로도 표준 GAN(예: DCGAN, WGAN-GP)이 약 20,000회 반복을 거쳐 달성하는 성능에 도달하며, 거의 두 배의 수렴 속도 향상을 보였다.
• 64×64 해상도에서 CIFAR-10을 대상으로 테스트한 결과, T-GAN은 DCGAN, DCGAN-SN, WGAN-SN, WGAN-GP, RSGAN와 비교해 유사한 성능를 보였지만 훨씬 더 빠른 학습 속도를 기록했다.
• 128×128 해상도에서 대부분의 표준 GAN은 안정적으로 학습되지 않거나 매우 특수한 하이퍼파rameter 설정이 필요하지만, T-GAN은 일관된 성능과 빠른 수렴을 유지했다.
• 256×256 해상도에서 T-GAN은 고해상도 이미지를 성공적으로 생성했고, 다른 모든 표준 GAN은 동일한 조건에서 효과적으로 학습되지 못했다.
• 128×128 해상도에서 CIFAR-10에 대해 T-GAN은 Fréchet Inception Distance(FID) 점수 46.92를 기록했으며, SGAN-SN(65.78), WGAN-SN(66.63), RSGAN-SN(98.87)을 모두 능가해 더 뛰어난 샘플 품질을 입증했다.
• T-GAN은 64×64, 128×128, 256×256 해상도 전반에서 일관된 성능을 유지하며, 해상도에 관계없이 단지 12,000회 반복 후에도 양호한 결과를 도출해 내어 스케일에 대한 강건성을 입증했다.