[논문 리뷰] How to Train Your DRAGAN

Naveen Kodali, Jacob Abernethy외 2명|arXiv (Cornell University)|2017. 05. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 34

한 줄 요약

이 논문은 비볼록 게임에서 발생하는 유사한 국소균형을 해결함으로써 학습을 안정화하고 모드 붕괴를 방지하기 위해 회귀 최소화를 활용하는 GAN 학습 알고리즘인 DRAGAN을 소개한다. MNIST, CIFAR-10, CelebA에서 최소한의 초모수 조정으로 최신 기술 수준의 성능을 달성하며, 최근 제안된 워셔스턴 GAN 변종들보다 뛰어난 성능을 보였다.

ABSTRACT

Generative Adversarial Networks have emerged as an effective technique for estimating data distributions. The basic setup consists of two deep networks playing against each other in a zero-sum game setting. However, it is not understood if the networks reach an equilibrium eventually and what dynamics makes this possible. The current GAN training procedure, which involves simultaneous gradient descent, lacks a clear game-theoretic justification in the literature. In this paper, we introduce regret minimization as a technique to reach equilibrium in games and use this to justify the success of simultaneous GD in GANs. In addition, we present a hypothesis that mode collapse, which is a common occurrence in GAN training, happens due to the existence of spurious local equilibria in non-convex games. Motivated by these insights, we develop an algorithm called DRAGAN that is fast, simple to implement and achieves competitive performance in a stable fashion across different architectures (150 random setups), datasets (MNIST, CIFAR-10, and CelebA), and divergence measures with almost no hyperparameter tuning. We show significant improvements over the recently proposed Wasserstein GAN variants.

연구 동기 및 목표

• GAN 학습의 이론적 배경을 이해하고, 특히 게임 이론적 정당성이 없음에도 불구하고 동시 기울기 하강법이 성공하는 이유를 밝히는 것.
• 모드 붕괴의 원인을 규명하고, 비볼록 게임에서 발생하는 유사한 국소균형 때문일 것이라고 가설을 세우는 것.
• 다양한 아키텍처, 데이터셋, 산란 측정법에서 안정적이고 고성능의 생성을 달성하는 단순하고 강력한 학습 알고리즘을 개발하는 것.
• 초모수 민감도를 줄이고 학습 안정성과 성능을 향상시키며 기존 WGAN 변종들을 능가하는 것.

제안 방법

• 게임 이론에서 유도된 회귀 최소화 기법을 적용하여 GAN에서 동시 기울기 하강법의 이론적 근거를 명확히 하고 개선하는 것.
• 유사한 국소균형으로 수렴할 가능성을 줄이기 위해 GAN 목적함수를 수정함으로써 DRAGAN이라는 학습 알고리즘을 제안하는 것.
• 복잡한 초모수 조정 없이도 학습 동역학을 안정화시키기 위해 단순한 아키텍처 수정을 적용하는 것.
• 기울기 업데이트와 회귀 기반 최적화를 조합하여 탐색을 장려하고 모드 붕괴를 방지하는 것.
• 다양한 산란 측정법을 사용하여 MNIST, CIFAR-10, CelebA에서 150개의 랜덤 학습 설정에 대해 접근을 검증하는 것.

실험 결과

연구 질문

• RQ1 GAN에서 동시 기울기 하강법이 공식적인 게임 이론적 기반 없이도 안정적인 학습을 이끌 수 있는 이유는 무엇인가요?
• RQ2 GAN에서 모드 붕괴는 무엇 때문에 발생하며, 이는 비볼록 게임에서의 유사한 국소균형 때문일 수 있는가요?
• RQ3 회귀 최소화 기법을 GAN 학습에 효과적으로 적용할 수 있을까?
• RQ4 DRAGAN은 표본 품질과 학습 안정성 측면에서 최신 기술 수준의 WGAN 변종들과 비교해 어떻게 성능을 냈는가?

주요 결과

• DRAGAN은 거의 초모수 조정 없이도 MNIST, CIFAR-10, CelebA에서 경쟁 가능한 성능을 달성하였다.
• 알고리즘이 다양한 랜덤 아키텍처 및 초모수 설정 150개에서 안정적인 학습을 보이며 강건성을 입증하였다.
• 학습 안정성과 표본 품질 측면에서 최근 제안된 워셔스턴 GAN 변종들보다 뚜렷이 뛰어난 성능을 보였다.
• 회귀 최소화 기법의 활용이 유사한 국소균형을 피하고, GAN 학습에서의 모드 붕괴 발생 빈도를 감소시키는 데 기여하였다.