[논문 리뷰] Coulomb GANs: Provably Optimal Nash Equilibria via Potential Fields

Thomas Unterthiner, Bernhard Nessler외 5명|arXiv (Cornell University)|2017. 08. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 29

한 줄 요약

Coulomb GANs는 생성자-판별자 게임을 물리적 위치 에너지장으로 모델링하는 새로운 GAN 프레임워크를 제안한다. 여기서 생성 샘플은 실제 데이터 포인트에 끌리고 상호 간에 쿨롱-유사 힘에 의해 밀려나며, 이는 모델이 유일하고 전역 최적의 내쉬 균형에 수렴함을 보장한다. 이 균형에서는 모델 분포가 정확히 목표 분포와 일치하며, 모드 붕괴가 제거되고 복잡한 데이터 분포를 충실하게 모델링할 수 있다.

ABSTRACT

Generative adversarial networks (GANs) evolved into one of the most successful unsupervised techniques for generating realistic images. Even though it has recently been shown that GAN training converges, GAN models often end up in local Nash equilibria that are associated with mode collapse or otherwise fail to model the target distribution. We introduce Coulomb GANs, which pose the GAN learning problem as a potential field of charged particles, where generated samples are attracted to training set samples but repel each other. The discriminator learns a potential field while the generator decreases the energy by moving its samples along the vector (force) field determined by the gradient of the potential field. Through decreasing the energy, the GAN model learns to generate samples according to the whole target distribution and does not only cover some of its modes. We prove that Coulomb GANs possess only one Nash equilibrium which is optimal in the sense that the model distribution equals the target distribution. We show the efficacy of Coulomb GANs on a variety of image datasets. On LSUN and celebA, Coulomb GANs set a new state of the art and produce a previously unseen variety of different samples.

연구 동기 및 목표

• 기존 GAN에서 지속적으로 발생하는 모드 붕괴와 국소 내쉬 균형의 비최적성 문제를 해결하기 위해.
• 진정한 데이터 분포와 정확히 일치하는 이론적으로 보장된 유일한 전역 최적해를 갖춘 GAN 프레임워크를 개발하기 위해.
• 생성자-판별자 상호작용을 전기적 힘과 유사한 물리적 위치 에너지장으로 모델링하기 위해.
• 판별자가 생성자가 에너지를 최소화하고 모든 데이터 모드를 커버할 수 있도록 위치 에너지장을 학습시키기 위해.
• 결과적으로 생성된 모델이 국소 최소값을 피하고 더 뛰어난 샘플 다양성과 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 판별자는 실제 데이터 위치에 있는 점电하로부터 유도되는 전기 위치 에너지장 Φ(x)를 학습한다.
• 생성자는 위치 에너지장의 음의 기울기 방향, 즉 -∇ₓΦ(x)에 따라 샘플을 이동시켜 에너지를 최소화한다. 이는 힘장 속에서의 운동을 시뮬레이션한다.
• 생성자의 손실은 생성된 샘플들 위에서 위치 에너지장의 적분으로 정의되며, 이는 샘플들이 낮은 에너지 영역에 정착하도록 유도한다.
• 이 방법은 매끄럽고 국소 최소값이 없는 플럼머 커널을 사용하여 위치 에너지장을 모델링함으로써 전역 수렴을 보장한다.
• 이론적 분석을 통해 오직 유일한 내쉬 균형이 존재하며, 이는 모델 분포가 목표 분포와 정확히 일치하는 최적의 해임을 증명한다.
• 충분한 네트워크 용량 하에서 수렴을 보장하기 위해 두 시기 스케일 업데이트 규칙을 사용한다.

실험 결과

연구 질문

• RQ1 모델 분포가 목표 분포와 정확히 일치하는 유일한 내쉬 균형을 갖는 GAN 프레임워크를 설계할 수 있는가?
• RQ2 생성 샘플 간의 상호 반발력을 통해 위치 에너지장 설정이 모드 붕괴를 제거할 수 있는가?
• RQ3 국소 최소값이 없는 위치 에너지장에서의 학습이 최적 해로의 수렴을 보장하는가?
• RQ4 이러한 프레임워크는 복잡한 다중 모달 데이터 분포를 모델링하는 데 있어 기존 GAN 및 MMD 기반 GAN보다 뛰어난 성능을 보일 수 있는가?
• RQ5 이미지 및 텍스트 생성 과제에서 Coulomb GAN의 샘플 다양성과 분포 정확도는 최신 기술 수준의 GAN들과 비교해 어떻게 되는가?

주요 결과

• Coulomb GANs는 충분한 용량과 수렴 조건 하에서 모델 분포가 정확히 목표 분포와 일치하는 유일한 내쉬 균형에 도달하며, 이는 이론적으로 최적임을 보장한다.
• CIFAR-10에서 Coulomb GAN의 FID 점수는 27.3이며, WGAN-GP(29.3/24.8)와 DCGAN(70.4/57.5)을 모두 앞서며 더 뛰어난 이미지 품질과 다양성을 보여준다.
• LSUN 침실 데이터셋에서 FID 점수는 31.2로, BEGAN(113/112)과 WGAN-GP(20.5/9.5)를 모두 능가하여 복잡한 환경에서도 뛰어난 성능을 보인다.
• CelebA 얼굴 데이터셋에서 FID 점수는 9.3으로, WGAN-GP(4.8/4.2)와 DCGAN(21.4/12.5)보다 뚜렷이 우수하여 고해상도 샘플 생성 능력을 입증한다.
• 생성자 분포의 지원 크기는 약 100만 개의 샘플 수준에서 중복 비율이 50%에 도달함을 추정하여 데이터 다양성의 우수한 커버리지를 보여준다.
• 최근접 이웃 분석 결과, 생성된 샘플이 훈련 데이터의 정확한 복제본이 아니며, 일반적으로 가장 가까운 훈련 이미지와도 완벽한 일치를 보이지 않음을 확인했다.