[논문 리뷰] Training Generative Adversarial Networks via Primal-Dual Subgradient Methods: A Lagrangian Perspective on GAN

Xu Chen, Jiang Wang외 1명|arXiv (Cornell University)|2018. 02. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 8

한 줄 요약

이 논문은 GAN 학습을 볼록 최적화의 원시-이중 하향 기울기 방법으로 공식화하며, 생성자와 판별기를 각각 원시 변수와 이중 변수로 해석한다. 이 프레임워크에서 최적의 내림방향에 따라 생성자 갱신을 정렬함으로써, 이 방법은 증명 가능하게 수렴하며 모드 붕괴를 효과적으로 완화한다. CIFAR-10에서 최신의 inception 점수를 달성하고, 합성 및 실세계 데이터셋에서 뛰어난 다양성을 확보한다.

ABSTRACT

We relate the minimax game of generative adversarial networks (GANs) to finding the saddle points of the Lagrangian function for a convex optimization problem, where the discriminator outputs and the distribution of generator outputs play the roles of primal variables and dual variables, respectively. This formulation shows the connection between the standard GAN training process and the primal-dual subgradient methods for convex optimization. The inherent connection does not only provide a theoretical convergence proof for training GANs in the function space, but also inspires a novel objective function for training. The modified objective function forces the distribution of generator outputs to be updated along the direction according to the primal-dual subgradient methods. A toy example shows that the proposed method is able to resolve mode collapse, which in this case cannot be avoided by the standard GAN or Wasserstein GAN. Experiments on both Gaussian mixture synthetic data and real-world image datasets demonstrate the performance of the proposed method on generating diverse samples.

연구 동기 및 목표

• GAN 학습을 볼록 최적화의 원시-이중 하향 기울기 방법과 연관지켜 이론적 기반을 구축하는 것.
• 라그랑주 공식화로부터 유도된 새로운 학습 목표를 통해 GAN에서 지속적인 모드 붕괴 문제를 해결하는 것.
• 원시-이중 프레임워크를 사용해 함수 공간에서 GAN 학습의 수렴 보장을 제공하는 것.
• 네트워크 아키텍처를 변경하지 않고도 다양성을 향상시키는 단순하고 저비용의 정규화 항을 개발하는 것.

제안 방법

• 논문은 표준 GAN 최소-최대 게임을 라그랑주 함수의 안장점 찾기 문제로 공식화하며, 판별기 출력과 생성기 분포가 각각 원시와 이중 역할을 한다.
• 이론적으로 최적의 원시-이중 하향 기울기 방향을 따라 생성기 출력 분포를 갱신하는 새로운 생성기 목표를 유도한다.
• 이 방법은 원시-이중 하향 기울기 방법과 일치하도록 생성기 손실에 정규화 항을 도입하여 수렴성과 다양성을 향상시킨다.
• 이 접근법은 볼록 최적화 이론에 기반하여 적절한 단계 크기 선택 시 수렴을 보장한다.
• 이 프레임워크는 아키텍처 변경을 최소화하고도 합성 데이터(Gaussian 혼합)와 실세계 데이터셋(MNIST, CIFAR-10)에 적용 가능하다.

실험 결과

연구 질문

• RQ1 GAN의 최소-최대 게임을 볼록 최적화의 원시-이중 하향 기울기 방법으로 해석할 수 있는가?
• RQ2 이 해석이 함수 공간에서 GAN 학습에 대해 증명 가능한 수렴 알고리즘을 이끌어내는가?
• RQ3 원시-이중 공식화가 GAN에서 모드 붕괴를 효과적으로 완화할 수 있는가?
• RQ4 제안된 목표는 표준 GAN과 WGAN에 비해 샘플 다양성과 품질 측면에서 어떻게 비교되는가?

주요 결과

• 8개 모드를 가진 2D 가우시안 혼합 분포에서, 제안된 방법은 모든 모드에서 샘플을 성공적으로 생성하지만, 표준 GAN과 WGAN은 모드 붕괴 문제를 악화시킨다.
• MNIST에서, 이 방법은 inception 점수 9.8을 달성하여 기준 GAN의 8.8을 초월한다.
• CIFAR-10에서, 제안된 방법은 inception 점수 4.53을 기록하여 WGAN의 3.82를 크게 앞서며, 더 복잡한 아키텍처를 가진 다른 고급 GAN 변종들과도 유사하거나 뛰어난 성능을 낸다.
• 판별기 출력이 데이터 지원 전역에서 0.5로 수렴함으로써 이론적으로 예측된 최적 해에 수렴하는 것이 확인되었다.
• 이 방법은 생성기 손실에 간단한 정규화 항을 추가하는 것만으로도 가능하며, 아키텍처 변경이나 복잡한 학습 절차 없이도 성능 향상을 달성한다.