[논문 리뷰] On the convergence properties of GAN training.

Lars Mescheder|arXiv (Cornell University)|2018. 01. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 1인용 수 34

한 줄 요약

이 논문은 데이터 분포와 생성기 분포가 절대 연속이 아닐 경우 비정규화된 GAN 훈련이 수렴하지 않음을 보여주며, 그 근본 원인이 경사 벡터장의 야코비안에 순수 허수 고유값이 존재하기 때문임을 규명한다. 정규화 기법으로 인스턴스 노이즈나 기울기 페널티를 사용하면 국소 수렴성이 복원되며, 더 복잡한 방법과 동일한 수렴 성질을 가지는 간소화된 기울기 페널티를 제안한다.

ABSTRACT

Recent work has shown local convergence of GAN training for absolutely continuous data and generator distributions. In this note we show that the requirement of absolute continuity is necessary: we describe a simple yet prototypical counterexample showing that in the more realistic case of distributions that are not absolutely continuous, unregularized GAN training is generally not convergent. Furthermore, we discuss recent regularization strategies that were proposed to stabilize GAN training. Our analysis shows that while GAN training with instance noise or gradient penalties converges, Wasserstein-GANs and Wasserstein-GANs-GP with a finite number of discriminator updates per generator update do in general not converge to the equilibrium point. We explain these results and show that both instance noise and gradient penalties constitute solutions to the problem of purely imaginary eigenvalues of the Jacobian of the gradient vector field. Based on our analysis, we also propose a simplified gradient penalty with the same effects on local convergence as more complicated penalties.

연구 동기 및 목표

• 비절대 연속 분포 하에서 GAN 훈련의 수렴 성질을 조사하기 위해.
• 실제 설정에서 데이터 분포가 절대 연속이 아닐 경우 표준 GAN 훈련이 수렴하지 못하는 이유를 규명하기 위해.
• 인스턴스 노이즈나 기울기 페널티와 같은 정규화 전략의 효과가 수렴성 복원에 얼마나 기여하는지 분석하기 위해.
• 유사한 수렴 성질을 가지는 간소화된 기울기 페널티를 제안하기 위해.
• 유한한 디스크림ิน레이터 업데이트 수를 가진 WGAN과 WGAN-GP가 평형점으로 수렴하지 않는 이유를 설명하기 위해.

제안 방법

• 비절대 연속 분포를 가진 프로토타입 반례를 구성하여 비정규화된 GAN 훈련의 수렴 실패를 시연한다.
• GAN 훈련 동역학에서 경사 벡터장의 야코비안을 분석하여 순수 허수 고유값이 불안정성의 근본 원인임을 규명한다.
• 정규화 기법(인스턴스 노이즈 및 기울기 페널티)이 고유값 구조에 미치는 영향을 평가하여 안정화 효과를 설명한다.
• 유한한 디스크림ิน레이터 업데이트 수를 가진 표준 GAN, WGAN, WGAN-GP의 수렴 행동을 유도하고 비교한다.
• 복잡한 페널티와 동일한 고유값 보정을 목표로 하는 간소화된 기울기 페널티를 제안한다.

실험 결과

연구 질문

• RQ1 데이터 분포와 생성기 분포가 절대 연속이 아닐 경우 비정규화된 GAN 훈련은 수렴하는가?
• RQ2 왜 표준 GAN은 실재적인 비절대 연속 설정에서 수렴하지 못하는가?
• RQ3 인스턴스 노이즈와 기울기 페널티는 동역학계 수준에서 GAN 훈련을 어떻게 안정화하는가?
• RQ4 유한한 디스크림ิน레이터 업데이트 수를 가진 WGAN과 WGAN-GP가 평형점으로 수렴하지 않는 이유는 무엇인가?
• RQ5 간소화된 기울기 페널티는 더 복잡한 정규화 기법과 동일한 수렴 성질을 달성할 수 있는가?

주요 결과

• 비절대 연속이 아닐 경우 비정규화된 GAN 훈련은 프로토타입 반례를 통해 수렴하지 않음을 보여준다.
• GAN 훈련의 불안정성은 경사 벡터장의 야코비안에 순수 허수 고유값이 존재하기 때문임을 규명한다.
• 인스턴스 노이즈와 기울기 페널티는 이러한 순수 허수 고유값을 제거함으로써 훈련을 안정화시킨다.
• 유한한 디스크림ิน레이터 업데이트 수를 가진 워샤르-GAN과 WGAN-GP가 평형점으로 수렴하지 않는다.
• 더 복잡한 페널티와 동일한 고유값 보정을 목표로 하는 간소화된 기울기 페널티를 제안한다.