[논문 리뷰] Which Training Methods for GANs do actually Converge?

Lars Mescheder, Andreas Geiger외 1명|arXiv (Cornell University)|2018. 01. 13.

Generative Adversarial Networks and Image Synthesis인용 수 606

한 줄 요약

한 논문은 GAN 학습 역학을 분석하고, 규제되지 않은 GAN은 데이터/생성기가 매니폴드에 있을 때 수렴하지 않을 수 있음을 보여주고, 어떤 규제들(instance noise, zero-centered gradient penalties)이 국소 수렴을 촉진하는지, 반면 WGAN-GP는 특정 업데이트 스킴에서 실패할 수 있음을 보여준다.

ABSTRACT

Recent work has shown local convergence of GAN training for absolutely continuous data and generator distributions. In this paper, we show that the requirement of absolute continuity is necessary: we describe a simple yet prototypical counterexample showing that in the more realistic case of distributions that are not absolutely continuous, unregularized GAN training is not always convergent. Furthermore, we discuss regularization strategies that were recently proposed to stabilize GAN training. Our analysis shows that GAN training with instance noise or zero-centered gradient penalties converges. On the other hand, we show that Wasserstein-GANs and WGAN-GP with a finite number of discriminator updates per generator update do not always converge to the equilibrium point. We discuss these results, leading us to a new explanation for the stability problems of GAN training. Based on our analysis, we extend our convergence results to more general GANs and prove local convergence for simplified gradient penalties even if the generator and data distribution lie on lower dimensional manifolds. We find these penalties to work well in practice and use them to learn high-resolution generative image models for a variety of datasets with little hyperparameter tuning.

연구 동기 및 목표

• 일반적(비절대연속) 데이터 및 생성기 분포에서 GAN 학습이 수렴하는지 평가한다.
• 단순하고 현실적인 GAN 설정에서 정규화 전략이 수렴에 어떤 영향을 미치는지 평가한다.
• 입증 가능한 국소 수렴 보장을 갖는 단순화된 그래디언트 페널티를 제안한다.
• 고해상도 이미지 생성을 위한 GAN 학습의 불안정성 원인에 대한 실용적 시사점을 이해한다.

제안 방법

• GAN 학습의 수렴 속성을 분석하기 위한 최소 반례로 Dirac-GAN을 도입한다.
• 다양한 학습 스킴에서 평형점에서 기울기장의 야코비 행렬의 고유값을 분석한다.
• 여러 규제 기법(instance noise, zero-centered gradient penalties, consensus optimization)을 검토하고 국소 수렴에 미치는 영향을 도출한다.
• 지정된 가정 하에서 단순화된 그래디언트 페널티 형태를 도출하고 국소 수렴을 증명한다.
• 저차원 매니폴드 분포를 갖는 더 일반적인 GAN으로 수렴 분석을 확장한다.
• 방법 간 수렴 동작을 비교하기 위한 2D 및 이미지 도메인 실험을 수행한다.

실험 결과

연구 질문

• RQ1 데이터와 생성기 분포가 하위 차원의 매니폴드에 놓여 있을 때 비규제된 GAN은 수렴하는가?
• RQ2 어떤 정규화 기술이 GAN 학습에서 국소 수렴을 회복시키는가?
• RQ3 어떤 조건에서 Wasserstein 기반 GAN과 그래디언트 패널티가 적용된 변형들이 수렴하거나 수렴하지 않는가?
• RQ4 단순화된 그래디언트 페널티가 더 일반적인 GAN들에서 입증 가능한 수렴을 제공할 수 있는가?
• RQ5 Dirac-GAN에서 고차원 이미지 생성 과제로의 수렴 특성이 어떻게 전이되는가?

주요 결과

• 비규제된 GAN 학습은 매니폴드로 지지된 분포를 가진 일반적인 경우에 수렴하지 않을 수 있다.
• Dirac-GAN에서 판별자 업데이트를 생성자 업데이트당 고정된 수로 하는 WGAN 및 WGAN-GP가 보편적으로 수렴하지 않는다.
• Instance noise와 zero-centered gradient penalties가 Dirac-GAN에서 국소 수렴을 유도한다.
• 적절한 가정하에 단순화된 형태의 그래디언트 페널티가 균형점 근처에서 국소 수렴을 달성할 수 있다.
• 정규화된 페널티는 생성기와 데이터 분포가 하위 차원의 매니폴드에 놓인 GAN들에 대한 수렴 결과를 확장한다.
• 실험적 결과는 R1/R2 그래디언트 페널티가 학습을 안정시키고 제한된 하이퍼파라미터 튜닝으로 고해상도 이미지 생성을 가능하게 한다.