[논문 리뷰] GANs Trained by a Two Time-Scale Update Rule Converge to a Nash Equilibrium

Martin Heusel, Hubert Ramsauer외 4명|arXiv (Cornell University)|2017. 06. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 55인용 수 371

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)의 훈련 방법으로 두 시간 스케일 업데이트 규칙(TTUR)을 소개한다. TTUR는 생성자와 판별자에 대해 별도의 학습률을 사용하며, 약한 조건 하에서 국소 나이시 균형에 수렴함을 보장한다. 이는 CIFAR-10, CelebA, LSUN Bedrooms 등의 데이터셋에서 프리셰트 인셉션 거리(FID) 지표를 사용하여 표준 GAN 훈련을 능가하는 성능 향상을 이룬다.

ABSTRACT

Generative Adversarial Networks (GANs) excel at creating realistic images with complex models for which maximum likelihood is infeasible. However, the convergence of GAN training has still not been proved. We propose a two time-scale update rule (TTUR) for training GANs with stochastic gradient descent on arbitrary GAN loss functions. TTUR has an individual learning rate for both the discriminator and the generator. Using the theory of stochastic approximation, we prove that the TTUR converges under mild assumptions to a stationary local Nash equilibrium. The convergence carries over to the popular Adam optimization, for which we prove that it follows the dynamics of a heavy ball with friction and thus prefers flat minima in the objective landscape. For the evaluation of the performance of GANs at image generation, we introduce the Frechet Inception Distance (FID) which captures the similarity of generated images to real ones better than the Inception Score. In experiments, TTUR improves learning for DCGANs and Improved Wasserstein GANs (WGAN-GP) outperforming conventional GAN training on CelebA, CIFAR-10, SVHN, LSUN Bedrooms, and the One Billion Word Benchmark.

연구 동기 및 목표

• 복잡한 모델에서 최대우도 추정이 불가능한 상황에서 GAN 훈련의 이론적 수렴 보장이 부족한 문제를 해결하기 위해.
• 약한 조건 하에서도 국소 나이시 균형에 수렴하는 훈련 규칙을 개발하기 위해.
• 이미지 생성 작업에서 GAN의 안정성과 성능을 향상시키고, 특히 표준 확률적 경사하강법과의 비교에서 개선을 이루기 위해.
• 기존 인셉션 스코어보다 생성된 이미지와 진짜 이미지 간 유사성을 더 잘 반영하는 새로운 평가 지표인 프리셰트 인셉션 거리(Frechet Inception Distance, FID)를 도입하기 위해.

제안 방법

• 생성자와 판별자에 대해 별도의 학습률을 할당하는 두 시간 스케일 업데이트 규칙(TTUR)을 제안한다.
• 스토하스틱 근사 이론을 적용하여, 약한 조건 하에서 TTUR가 정적 국소 나이시 균형으로 수렴함을 증명한다.
• 아담 최적화기의 역동성을 분석하여, 손실 곡면에서 평평한 최소값을 선호하는 무거운 공 운동과 마찰의 역학을 따름을 밝힌다.
• 실제 이미지 분포와 생성된 이미지 분포 간의 통계적 유사도를 측정하는 새로운 평가 지표인 프리셰트 인셉션 거리(Frechet Inception Distance, FID)를 도입한다.
• 표준 GAN과 개선된 WGAN-GP 모두에 TTUR를 적용하여, 다양한 벤치마크에서 일관된 성능 향상을 입증한다.
• CelebA, CIFAR-10, SVHN, LSUN Bedrooms, 그리고 온 빌리언 워드 벤치마크를 포함한 다양한 데이터셋에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 TTUR 방법은 약한 조건 하에서도 GAN 훈련이 국소 나이시 균형으로 수렴하는가?
• RQ2 이미지 생성 작업에서 TTUR는 표준 확률적 경사하강법에 비해 훈련 안정성과 성능 면에서 어떻게 비교되는가?
• RQ3 프리셰트 인셉션 거리(FID)는 인셉션 스코어보다 생성된 이미지 품질 평가에 더 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ4 TTUR와 함께 사용될 때 아담 최적화기는 GAN 손실 곡면에서 평평한 최소값을 선호하는가? 이는 일반화 성능 향상에 기여하는가?
• RQ5 TTUR는 CIFAR-10, CelebA, LSUN Bedrooms와 같은 다양한 데이터셋에서 얼마나 높은 수준의 성능 향상을 이끌어내는가?

주요 결과

• TTUR는 약한 조건 하에서도 정적 국소 나이시 균형으로 수렴함을 보장하여, GAN 훈련 안정성에 대한 이론적 기반을 제공한다.
• TTUR는 CIFAR-10, CelebA, LSUN Bedrooms 등 여러 데이터셋에서 DCGAN과 개선된 WGAN-GP 모두에서 훈련 성능을 크게 향상시킨다.
• 프리셰트 인셉션 거리(FID) 지표는 기존 인셉션 스코어에 비해 이미지 품질과 다양성을 더 잘 반영하는 것으로 나타났다.
• TTUR와 함께 아담 최적화기를 사용할 경우, 손실 곡면에서 평평한 최소값을 선호하는 중력과 마찰이 있는 무거운 공의 역학을 따르며, 이는 일반화 성능 향상에 기여한다.
• 온 빌리언 워드 벤치마크에서의 실험 결과, TTUR는 GAN 훈련 성능을 향상시켜 이미지 생성 외 분야에도 광범위하게 적용 가능함을 시사한다.
• TTUR는 FID 점수 측면에서 기존 GAN 훈련 방식을 일관되게 능가하며, 다양한 벤치마크에서의 효과성을 확인한다.