[논문 리뷰] When can Wasserstein GANs minimize Wasserstein Distance

Yuanzhi Li, Zehao Dou|arXiv (Cornell University)|2020. 03. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 77인용 수 6

한 줄 요약

이 논문은 워셔스타인 GAN이 진정한 데이터 분포로의 워셔스타인 거리를 최소화할 수 있는 이론적 조건을 설정한다. 이는 생성자가 두 층으로 이루어진 ReLU 네트워크일 경우, 판별자가 한 층으로 이루어진 ReLU 네트워크여야만 생성자가 다항수의 학습 예제를 사용하여 역다항식적으로 가까운 분포로 수렴할 수 있음을 보여준다.

ABSTRACT

Generative Adversarial Networks (GANs) are widely used models to learn complex real-world distributions. In GANs, the training of the generator usually stops when the discriminator can no longer distinguish the generator's output from the set of training examples. A central question of GANs is that when the training stops, whether the generated distribution is actually close to the target distribution. Previously, it was found that such closeness can only be achieved when there is a strict capacity trade-off between the generator and discriminator: Neither of the two models can be too powerful than the other. In this paper, we established one of the first theoretical results in explaining this trade-off. We show that when the generator is a class of two-layer neural networks, then it is necessary and sufficient for the discriminator to be a one-layer network with ReLU-type activation functions. With this trade-off, using polynomially many training examples, when the training stops, the generator will indeed output a distribution that is inverse-polynomially close to the target. Our result also sheds light on how GANs training can find such a generator efficiently.

연구 동기 및 목표

• 워셔스타인 GAN에서 생성자와 판별자의 능력 간의 트레이드오프를 이론적으로 설명하기 위해.
• 생성자의 출력 분포가 진정한 데이터 분포에 가까워지는 조건을 규명하기 위해.
• 최적에 가까운 생성자로의 수렴을 위한 판별자 아키텍처에 대한 必要하고 충분한 조건을 설정하기 위해.
• WGAN의 효율적 학습을 위한 이론적 기반을 제공하기 위해 다항식 샘플 복잡도를 확보하기 위해.

제안 방법

• 생성자를 ReLU 활성화 함수를 사용한 두 층의 신경망으로 분석한다.
• 최적의 수렴을 보장하기 위해 판별자가 한 층의 ReLU 네트워크여야 한다고 요구한다.
• 이러한 아키텍처 제약 조건 하에서 워셔스타인 거리 최소화의 이론적 분석을 수행한다.
• 다항식 샘플 복잡도가 진정한 분포로의 역다항식 근사에 충분함을 입증한다.
• 최적화 이론과 일반화 이론의 도구를 적용하여 생성된 분포와 목표 분포 사이의 거리를 유 bounds 한다.

실험 결과

연구 질문

• RQ1 어떤 아키텍처 조건에서 워셔스타인 GAN이 진정한 데이터 분포로의 워셔스타인 거리를 최소화할 수 있는가?
• RQ2 생성자에 비해 판별자의 능력이 얼마나 되어야 수렴이 가까운 근사에 도달할 수 있는가에 대한 必요하고 충분한 조건이 존재하는가?
• RQ3 생성자가 다항식 수의 학습 예제만을 사용하여 목표 분포로의 역다항식 가까움을 달성할 수 있는가?
• RQ4 활성화 함수의 선택과 네트워크의 깊이가 WGAN의 수렴에 어떤 영향을 미치는가?

주요 결과

• 생성자가 두 층의 ReLU 네트워크일 경우, 판별자가 한 층의 ReLU 네트워크여야만 필요하고 충분하다.
• 학습이 정지할 때 생성자는 진정한 데이터 분포로의 역다항식 거리에 가까운 분포로 수렴한다.
• 이 수준의 근사에 도달하기 위해 다항식 샘플 복잡도가 충분하다.
• 이론적 프레임워크는 생성자와 판별자 간의 능력 균형이 수렴에 있어 필수적임을 설명한다.