[논문 리뷰] Generalization and Equilibrium in Generative Adversarial Nets (GANs)

Sanjeev Arora, Rong Ge외 3명|arXiv (Cornell University)|2017. 03. 02.

Generative Adversarial Networks and Image Synthesis인용 수 211

한 줄 요약

본 논문은 GAN 일반화가 표준 분포 거리에서 일반화될 수 없지만 신경망 거리에서 일반화 보장을 제공하며, 생성기 혼합을 통한 근사 균형의 존재를 증명하고 MIX+GAN을 실용적인 안정화 기술로 제시한다.

ABSTRACT

We show that training of generative adversarial network (GAN) may not have good generalization properties; e.g., training may appear successful but the trained distribution may be far from target distribution in standard metrics. However, generalization does occur for a weaker metric called neural net distance. It is also shown that an approximate pure equilibrium exists in the discriminator/generator game for a special class of generators with natural training objectives when generator capacity and training set sizes are moderate. This existence of equilibrium inspires MIX+GAN protocol, which can be combined with any existing GAN training, and empirically shown to improve some of them.

연구 동기 및 목표

• GAN 학습이 표준 분포 거리(JS, Wasserstein 등)에서 다항 샘플로 일반화되지 않을 수 있음을 입증한다.
• GAN에 대한 계산가능한 일반화 지표로 신경망 거리를 도입한다.
• GAN 게임에서 생성기 혼합을 통해 근사 균형의 존재를 입증한다.
• 실용적인 학습 프레임워크로 MIX+GAN을 제안하고 혼합을 기존 GAN 목적함수와 결합시키고 다양성 유도 엔트로피 정규화를 사용하여 실험적으로 검증한다.

제안 방법

• 신경망 판별기 및 생성기를 사용하는 GAN 학습과 일반적인 목적함수를 정의한다.
• 통합 발산 척도로서 F-distance와 신경망 거리를 도입한다.
• 다항 샘플 복잡도로 신경망 거리에 대한 일반화 보장을 증명한다.
• 무한한 생성기 혼합이 GAN 게임에서 거의 최적에 가까운 균형을 달성할 수 있음을 보여준다.
• 근사 순수 균형을 실현하기 위한 유한 혼합 구성과 네트워크 규모에 대한 상한을 도출한다.
• 다양성을 장려하기 위해 엔트로피 정규화를 활용하고 기존 GAN 목적함수와 혼합을 결합하는 실용적 학습 프로토콜로 MIX+GAN을 소개한다.

실험 결과

연구 질문

• RQ1 GAN 학습이 다항 샘플로 표준 거리 지표(JS, Wasserstein) 하에서 일반화될 수 있는가?
• RQ2 더 약한 지표인 신경망 거리(neural net distance)가 GAN의 일반화 보장을 제공할 수 있는가?
• RQ3 GAN 게임에서 균형이 존재하는가, 그리고 실용적 네트워크 크기로 이를 구현할 수 있는가?
• RQ4 생성기의 혼합이 근사 균형을 달성할 수 있으며 이를 단일 네트워크(순수 균형)로 구현할 수 있는가?
• RQ5 MIX+GAN 프레임워크가 학습을 안정화하고 실험적으로 성능을 향상시키는가?

주요 결과

• 표준 JS 발산 및 Wasserstein 거리는 다항 샘플로 일반화되지 않는다.
• 신경망 거리는 다항 샘플로 일반화를 누리며, GAN 학습에 대한 대리 보장을 제공한다.
• 생성기의 유한 혼합을 통해 근사 균형이 존재하며, modest한 네트워크 규모 증가로 순수 균형과 유사한 구성이 가능하다.
• MIX+GAN 프레임워크는 학습을 안정화하고 CIFAR-10, MNIST, CelebA와 같은 데이터세트에서 성능 향상을 보인다.
• 실험적 결과는 MIX+DCGAN이 여러 베이스라인보다 높은 Inception Scores를 달성함을 시사한다.