[논문 리뷰] GANs with First-Order Greedy Discriminators

Vijay Keswani, Oren Mangoubi외 2명|arXiv (Cornell University)|2020. 06. 22.

Domain Adaptation and Few-Shot Learning인용 수 2

한 줄 요약

이 논문은 일阶 그릿 디스criminator를 사용하는 새로운 GAN 학습 프레임워크를 제안하며, 이는 반복적으로 최적화되어 정적 점에 도달하도록 업데이트되며, 근사 국소 균형에 대한 증명 가능 수렴을 가능하게 한다. 이 방법은 다항 시간 내에 수렴하며, 비볼록/비볼록 손실 함수를 처리할 수 있고, CIFAR-10에서 GDA, OMD 및 언롤드 GAN보다 모드 커버리지와 Inception 스코어에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a variant of the standard min-max framework for GANs to learn a distribution, where the discriminator can update its strategy in a greedy manner until it reaches a first-order stationary point. We give an algorithm to train such a GAN and show that it provably converges from any initial point to an approximate local equilibrium for this framework. Our algorithm runs in time polynomial in the smoothness parameters of the loss function and independent of the dimension, and allows for loss functions that can be nonconvex and nonconcave in the parameters of the generator and discriminator. Empirically, GANs trained using our algorithm consistently learn a greater number of modes than gradient descent-ascent (GDA), optimistic mirror descent (OMD), and unrolled GANs when applied to a synthetic Gaussian mixture dataset. Moreover, they perform significantly better on CIFAR-10 than OMD and GDA when comparing the mean and standard deviation of the Inception Score respectively.

연구 동기 및 목표

• 표준 GAN 학습에서의 불안정성과 열악한 모드 커버리지 문제를 해결하기 위해 디스criminator 업데이트 프로세스를 재정의한다.
• 일반적인 손실 함수 조건 하에서 근사 국소 균형에 증명 가능하게 수렴하는 학습 알고리즘을 개발한다.
• 차원에 관계없이 다항 시간 복잡도를 가지며 효율적인 학습을 가능하게 한다.
• 생성자 및 디스criminator 파라미터에 비볼록 및 비볼록 손실 함수를 허용하여 샘플의 다양성과 품질을 향상시킨다.

제안 방법

• 디스criminator는 일阶로 그릿하게 업데이트되며, 일阶 정적 점에 도달할 때까지 점진적으로 전략을 개선한다.
• 표준 min-max 최적화를 디스criminator에 대한 순차적이고 그릿한 업데이트 규칙으로 대체한다.
• 반복적인 디스criminator 업데이트를 통해 근사 국소 균형에 수렴함을 보장한다.
• 부드러움 파라미터에 대해 다항 시간 내에 작동하며, 입력 차원에 독립적이다.
• 생성자 및 디스criminator 파라미터에 비볼록 및 비볼록 손실 함수를 지원한다.
• 다양한 손실 경로에서 스케일링 가능하고 강건한 학습 알고리즘으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 그릿하고 일阶인 디스criminator 업데이트 전략은 안정적이고 수렴 가능한 GAN 학습을 이끌 수 있는가?
• RQ2 제안된 방법은 일반적인 비볼록/비볼록 손실 함수 조건 하에서 근사 국소 균형에 수렴하는가?
• RQ3 제안된 GAN의 모드 커버리지는 시뮬레이션 데이터에서 GDA, OMD 및 언롤드 GAN과 비교해 어떻게 되는가?
• RQ4 Inception 스코어 측면에서 제안된 방법은 CIFAR-10과 같은 표준 벤치마크에서 어떤 성능을 보이는가?
• RQ5 차원에 독립적인 다항 시간 복잡도를 유지하면서 효율성을 유지도 가능한가?

주요 결과

• 제안된 알고리즘은 임의의 초기점에서 근사 국소 균형에 증명 가능하게 수렴한다.
• 부드러움 파라미터에 대해 다항 시간 내에 작동하며, 입력 차원에 독립적이다.
• 시뮬레이션된 가우시안 믹스처 데이터셋에서, GAN은 GDA, OMD 및 언롤드 GAN보다 훨씬 더 많은 모드를 학습한다.
• CIFAR-10에서, 모델는 OMD 및 GDA보다 높은 평균 Inception 스코어와 낮은 표준편차를 기록한다.
• 프레임워크는 생성자 및 디스criminator 파라미터에 비볼록 및 비볼록 손실 함수를 지원한다.
• 실증 결과는 다양한 벤치마크에서 샘플의 다양성과 품질 향상이 확인됨을 보여준다.