[논문 리뷰] Many Paths to Equilibrium: GANs Do Not Need to Decrease a Divergence At Every Step

William Fedus, Mihaela Rosca외 4명|arXiv (Cornell University)|2017. 10. 23.

Global Energy and Sustainability Research참고 문헌 19인용 수 100

한 줄 요약

이 논문은 GAN 학습이 매 단계에서 발산을 단조롭게 최소화할 필요가 없다고 주장한다. 기본 발산이 매 단계 감소하지 않는 경로를 통해 내재된 학습이 Nash 균형으로 수렴할 수 있으며, 발산 기반 관점에서의 그래디언트 페널티는 비-발산 기반 학습에 여전히 도움을 줄 수 있다.

ABSTRACT

Generative adversarial networks (GANs) are a family of generative models that do not minimize a single training criterion. Unlike other generative models, the data distribution is learned via a game between a generator (the generative model) and a discriminator (a teacher providing training signal) that each minimize their own cost. GANs are designed to reach a Nash equilibrium at which each player cannot reduce their cost without changing the other players' parameters. One useful approach for the theory of GANs is to show that a divergence between the training distribution and the model distribution obtains its minimum value at equilibrium. Several recent research directions have been motivated by the idea that this divergence is the primary guide for the learning process and that every step of learning should decrease the divergence. We show that this view is overly restrictive. During GAN training, the discriminator provides learning signal in situations where the gradients of the divergences between distributions would not be useful. We provide empirical counterexamples to the view of GAN training as divergence minimization. Specifically, we demonstrate that GANs are able to learn distributions in situations where the divergence minimization point of view predicts they would fail. We also show that gradient penalties motivated from the divergence minimization perspective are equally helpful when applied in other contexts in which the divergence minimization perspective does not predict they would be helpful. This contributes to a growing body of evidence that GAN training may be more usefully viewed as approaching Nash equilibria via trajectories that do not necessarily minimize a specific divergence at each step.

연구 동기 및 목표

• 표준/최소극대/비포화 GAN 및 관련 발산에 대한 용어 정리.
• GAN 방법의 개선이 발산 최소화 때문인지 다른 학습 역학 때문인지 경험적으로 검증.
• JS 발산이 유용한 기울기를 제공하지 않는 합성 태스크에서 비포화 GAN의 평가.
• 합성 및 실제 데이터셋 전반에서 그래디언트 페널티가 비포화 GAN에 미치는 영향 평가.

제안 방법

• 비포화 GAN(NS-GAN)과 최소극대 GAN(M-GAN)을 정의하고 JS 발산과의 관계를 비교.
• 그래디언트 페널티(GAN-GP 및 DRAGAN-NS)를 도입하여 NS-GAN에 적용.
• 데이터가 저차원 매니폴드에 놓인 합성 실험을 통해 학습 역학을 검증.
• Color MNIST, CelebA, CIFAR-10에서 NS-GAN 및 그래디언트 페널티 변형의 다양한 지표로 평가.
• 다양한 판별자 업데이트 수에서 하이퍼파라미터 강건성 및 학습 역학 분석.
• 그래디언트와 발산의 역할을 이해하기 위해 WGAN-GP와의 질적/정량적 비교 제공.

실험 결과

연구 질문

• RQ1 JS 발산 최소화가 실패를 예측하는 작업에서 NS-GAN이 성공하는가?
• RQ2 발산 최소화의 변화보다 최적화 역학 개선으로 인해 그래디언트 페널티가 NS-GAN 학습을 개선하는가?
• RQ3 다양한 하이퍼파라미터에서 실제 이미지 데이터셋에서 NS-GAN 및 그래디언트 페널티를 가진 NS-GAN의 성능은 어떻게 되는가?
• RQ4 합성의 저차원 매니폴드 태스크와 실제 데이터셋에서 결과가 일관되는가?

주요 결과

• NS-GAN은 JS 발산 최소화가 실패할 경우에도 실제 데이터 매니폴드로 수렴할 수 있다.
• 그래디언트 페널티(GAN-GP 및 DRAGAN-NS)는 NS-GAN 학습을 안정화하고 수렴성 및 견고성을 향상시킨다.
• 그래디언트 페널티를 가진 NS-GAN은 여러 실제 데이터셋에서 기본 NS-GAN보다 샘플 품질과 다양성을 더 잘 얻는다.
• 특정 하이퍼파라미터에서 WGAN-GP가 학습에 실패할 수 있는 반면, 페널티를 가진 NS-GAN 변형은 더 견고하다.
• 발산 관점과 학습 역학의 개선 중 어떤 요소가 기여하는지 분리하면 그래디언트 페널티가 기본 발산 관점과 무관하게 최적화를 개선한다.