[논문 리뷰] GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium

Martin Heusel, Hubert Ramsauer외 3명|arXiv (Cornell University)|2017. 06. 26.

Generative Adversarial Networks and Image Synthesis인용 수 4,490

한 줄 요약

두 시간 척도 업데이트 규칙(TTUR)을 GAN에 도입하여 구분자(discriminator)와 생성자(generator) 학습률을 분리하고, 지역 내 Nash 균형으로의 수렴을 입증하며, Adam을 마찰이 있는 Heavy Ball(HBF)로 분석하고, 평가를 위한 Fréchet Inception Distance(FID)를 제안한다; TTUR은 여러 데이터셋에서 GAN 성능을 향상시킨다.

ABSTRACT

Generative Adversarial Networks (GANs) excel at creating realistic images with complex models for which maximum likelihood is infeasible. However, the convergence of GAN training has still not been proved. We propose a two time-scale update rule (TTUR) for training GANs with stochastic gradient descent on arbitrary GAN loss functions. TTUR has an individual learning rate for both the discriminator and the generator. Using the theory of stochastic approximation, we prove that the TTUR converges under mild assumptions to a stationary local Nash equilibrium. The convergence carries over to the popular Adam optimization, for which we prove that it follows the dynamics of a heavy ball with friction and thus prefers flat minima in the objective landscape. For the evaluation of the performance of GANs at image generation, we introduce the "Fréchet Inception Distance" (FID) which captures the similarity of generated images to real ones better than the Inception Score. In experiments, TTUR improves learning for DCGANs and Improved Wasserstein GANs (WGAN-GP) outperforming conventional GAN training on CelebA, CIFAR-10, SVHN, LSUN Bedrooms, and the One Billion Word Benchmark.

연구 동기 및 목표

• GAN 훈련에서 수렴 보장이 부족한 점을 동기 부여하고 해결한다.
• 구분자와 생성자에 대해 분리된 학습률을 갖는 두 시간 척도 업데이트 규칙(TTUR)을 제안한다.
• TTUR 하에서 정지적인(local) Nash 균형으로의 수렴 이론적 결과를 제시하고, Adam의 동역학을 마찰이 있는 Heavy Ball(HBF)으로 분석한다.
• Fréchet Inception Distance(FID)를 강력한 GAN 평가 지표로 도입한다.
• 여러 GAN 변형과 데이터세트에서 TTUR을 경험적으로 검증한다.

제안 방법

• 구분자에 대한 학습률 b(n)과 생성자에 대한 학습률 a(n)를 사용하여 TTUR를 정의하고 확률 근사 업데이트를 도출한다.
• 온건한 가정하에서 ODE 및 확률 근사 이론을 사용하여 TTUR가 정지된(local) Nash 균형으로 수렴함을 보인다.
• Adam을 마찰이 있는 Heavy Ball(HBF)로 기술하고 TTUR 수렴과의 연결고리를 제시한다.
• TTUR를 갖춘 Adam이 수렴을 보존함을 TTUR의 동역학을 HBF ODE에 연결함으로써 보인다.
• Fréchet Inception Distance(FID)를 Inception 코딩 공간에서 평균과 공분산을 사용하여 생성된 데이터가 실제 데이터에 얼마나 가까운지 평가하는 수단으로 도입한다.
• DCGAN, WGAN-GP(이미지 및 언어 데이터), 그리고 One Billion Word Benchmark를 대상으로 TTUR을 표준 단일 시간 스케일 학습과 비교하는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 TTUR로 학습된 GAN이 확률적 경사 업데이트에서 정지된(local) Nash 균형으로 수렴할 수 있는가?
• RQ2 구분자와 생성자에 대한 분리된 학습률이 단일 시간 스케일 학습에 비해 수렴 및 성능에 어떤 영향을 미치는가?
• RQ3 수렴 측면에서 Adam은 TTUR와 호환되는가, 그리고 그 동역학이 최소값의 질에 어떤 영향을 미치는가?
• RQ4 FID가 다양한 교란 및 데이터세트에서 Inception Score보다 GAN 품질의 더 신뢰할 만한 평가를 제공하는가?
• RQ5 TTUR로 학습한 GAN이 이미지 및 언어 벤치마크에서 기존 훈련을 능가하는가?

주요 결과

• TTUR은 온건한 가정 하에서 정지된(local) Nash 균형으로 수렴한다.
• Adam은 마찰이 있는 Heavy Ball(HBF)로 해석될 수 있으며 TTUR와 함께 수렴을 보존하는 동역학을 따른다.
• TTUR를 결합한 Adam은 수렴을 보전하고 평탄한 최소점을 선호하는 경향이 있다.
• TTUR은 CelebA, CIFAR-10, SVHN, LSUN Bedrooms, One Billion Word 벤치마크에서 표준 단일 시간 스케일 GAN 학습보다 일관되게 성능을 향상시킨다.
• FID는 데이터 교란 및 인간 판단과의 상관관계가 Inception Score보다 더 잘 나타나 robust한 GAN 평가를 가능하게 한다.
• TTUR은 학습 진동과 분산을 감소시켜 원래 방법들보다 더 안정적인 학습을 이끈다.