[논문 리뷰] Improved Training of Wasserstein GANs

Ishaan Gulrajani, Faruk Ahmed외 3명|arXiv (Cornell University)|2017. 03. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 1,510

한 줄 요약

이 논문은 WGAN의 가중치 클리핑을 그래디언트 패널티로 대체하여 Lipschitz 연속성을 보장하고 다양한 아키텍처에서 안정적인 학습을 가능하게 하며 CIFAR-10 및 LSUN 침실에서 고품질 샘플을 달성한다.

ABSTRACT

Generative Adversarial Networks (GANs) are powerful generative models, but suffer from training instability. The recently proposed Wasserstein GAN (WGAN) makes progress toward stable training of GANs, but sometimes can still generate only low-quality samples or fail to converge. We find that these problems are often due to the use of weight clipping in WGAN to enforce a Lipschitz constraint on the critic, which can lead to undesired behavior. We propose an alternative to clipping weights: penalize the norm of gradient of the critic with respect to its input. Our proposed method performs better than standard WGAN and enables stable training of a wide variety of GAN architectures with almost no hyperparameter tuning, including 101-layer ResNets and language models over discrete data. We also achieve high quality generations on CIFAR-10 and LSUN bedrooms.

연구 동기 및 목표

• WGAN에서 가중치 클리핑으로 인한 문제점 시연.
• Lipschitz 연속성을 보장하기 위한 그래디언트 패널티(WGAN-GP) 제안.
• 다양한 아키텍처와 데이터세트에서 안정적인 학습 보장.
• CIFAR-10 및 LSUN 침실에서 고품질 샘플 생성 달성.
• 연속 생성기로서 이산 데이터의 모델링 시연.

제안 방법

• 실제 샘플과 생성 샘플 사이의 직선상의 경로에 적용된 입력 그래디언트에 그래디언트 패널티를 도입.
• critic 손실에서 λ(∥∇x̂D(x̂)∥2 − 1)2 패널티 항으로 미분 가능하고 부드러운 Lipschitz 제약을 형식화.
• Pr과 Pg 사이의 직선에서 x̂를 균일하게 샘플링하여 최적의 크기에서 그래디언트 노름 제약을 강화.
• Per-sample 그래디언트 패널티를 유지하기 위해 critic 배치 정규화 생략.
• 그래디언트 노름을 1에 가깝게 밀어붙이기 위해 양측 패널티를 채택하고, 실험 전체에서 λ = 10.
• WGAN-GP에 대해 권장 하이퍼파라미터로 Adam으로 학습하고 가중치 클립 및 DCGAN과 비교.

실험 결과

연구 질문

• RQ1 그래디언트 클리핑이 WGAN 비평가의 불안정성과 과소적합을 유발하는가?
• RQ2 그래디언트 패널티가 비평가의 보다 안정적이고 확장 가능한 Lipschitz 제약을 제공할 수 있는가?
• RQ3 CIFAR-10 및 LSUN과 같은 데이터세트에서 제안된 그래디언트 패널티 하에서 다양한 GAN 아키텍처가 학습 가능한가?
• RQ4 샘플 품질 및 학습 속도 면에서 WGAN-GP는 가중치 클리핑 및 DCGAN과 어떻게 비교되는가?
• RQ5 연속 생성기가 이산 유사 데이터를 모델링하도록 이 방법을 가능하게 하는가?

주요 결과

• 그래디언트 패널티는 가중치 클리핑에서 보이는 과소적합 및 불안정한 그래디언트 동작을 피한다.
• WGAN-GP는 깊은 ResNet를 포함한 광범위한 아키텍처를 최소한의 하이퍼파라미터 조정으로 학습한다.
• CIFAR-10에서 WGAN-GP는 더 빠른 수렴과 Inception 점수에서 DCGAN과 경쟁적이며; 그래디언트 패널티 모델은 가중치 클리핑보다 안정성을 향상시킨다.
• WGAN-GP는 LSUN 침실에서 고품질 샘플을 얻고 매우 깊은 잔여 GAN 구성도 성공적으로 학습한다.
• WGAN-GP를 갖춘 깊은 ResNet GAN은 128×128 LSUN 침실에서 경쟁력 있는 샘플을 산출한다.
• 그래디언트 패널티가 있는, 연속 생성기가 이산 유사 데이터를 모델링할 수 있는데, Google Billion Word 데이터셋에서 표준 GAN은 어려움을 겪는다.