[논문 리뷰] Generative Adversarial Parallelization

Daniel Jiwoong Im, He Ma외 2명|arXiv (Cornell University)|2016. 12. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 30

한 줄 요약

이 논문은 생성적 적대적 병렬화(GAP)를 제안하며, 생성자-판별자 간의 결속을 줄이기 위해 주기적으로 판별자를 교환하면서 다수의 GAN을 병렬로 훈련하는 프레임워크이다. 이는 모드 커버리지, 훈련 안정성, 생성 품질 향상에 기여하며, MNIST, CIFAR-10, LSUN에서 GAM-II 및 우도 측정 기준으로 DCGAN에 비해 상당한 향상을 보인다.

ABSTRACT

Generative Adversarial Networks have become one of the most studied frameworks for unsupervised learning due to their intuitive formulation. They have also been shown to be capable of generating convincing examples in limited domains, such as low-resolution images. However, they still prove difficult to train in practice and tend to ignore modes of the data generating distribution. Quantitatively capturing effects such as mode coverage and more generally the quality of the generative model still remain elusive. We propose Generative Adversarial Parallelization, a framework in which many GANs or their variants are trained simultaneously, exchanging their discriminators. This eliminates the tight coupling between a generator and discriminator, leading to improved convergence and improved coverage of modes. We also propose an improved variant of the recently proposed Generative Adversarial Metric and show how it can score individual GANs or their collections under the GAP model.

연구 동기 및 목표

• 표준 GAN 훈련에서 생성자-판별자 간의 강한 결속으로 인한 지속적인 모드 붕괴 및 수렴 불량 문제를 해결한다.
• 공유된 판별자 교환을 통해 생성자를 개별 판별자로부터 분리함으로써 모드 커버리지와 생성 모델 품질을 향상시킨다.
• 다양한 GAN 변종과 기존 훈련 기법과 호환되는 확장성 있고 병렬화 가능한 훈련 프레임워크를 개발한다.
• 개선된 Generative Adversarial Metric(GAM-II)을 활용한 모드 커버리지와 생성 품질 평가를 위한 정량적 평가 프레임워크를 제공한다.

제안 방법

• 각기 별개의 생성자와 판별자를 갖는 다수의 GAN을 병렬로 훈련하여 이원 모델 구조를 형성한다.
• 고정 간격(예: 0.5 에포크마다)으로 생성자 간에 판별자를 주기적으로 교환하여, 특정 생성자와 판별자 간의 직접적 결속을 감소시킨다.
• GAP 프레임워크 하에서 개별 GAN과 그 집합을 평가하기 위해 수정된 Generative Adversarial Metric(GAM-II)을 사용한다.
• 특히 고용량 모델에서의 훈련 안정성을 높이기 위해 기울기 클리핑을 적용한 동기화 훈련을 수행한다.
• 다양한 GAN 변종(예: DCGAN 및 GRAN)을 하이브리드 GAP 모델(GAP C4)로 조합하여 다양한 아키텍처에서의 성능을 평가한다.
• MNIST 및 CIFAR-10에서 로그 우도 추정을 위해 GAM-II와 Annealed Importance Sampling(AIS)를 모두 활용하여 생성 품질을 평가한다.

실험 결과

연구 질문

• RQ1 다수의 GAN 간 판별자 주기적 교환은 모드 붕괴를 줄이고 훈련 안정성을 향상시키는가?
• RQ2 GAP 프레임워크는 표준 GAN 및 데이터 병렬 훈련에 비해 모드 커버리지와 생성 품질을 향상시키는가?
• RQ3 교환 빈도는 GAP 훈련 제도에서 수렴과 성능에 어떤 영향을 미치는가?
• RQ4 개선된 GAM-II 측정 기준은 GAP 모델 하에서 개별 GAN과 그 집합을 효과적으로 평가할 수 있는가?
• RQ5 GAP 프레임워크에 다양한 GAN 변종(예: DCGAN 및 GRAN)을 조합하면 개별 모델보다 성능이 향상되는가?

주요 결과

• GAP(DCGAN)은 모든 데이터셋에서 GAM-II 측정 기준으로 DCGAN을 상당히 능가하며, CIFAR-10 및 LSUN에서 평균 오차율이 최대 15% 감소하였다.
• GAP(GRAN)은 CIFAR-10 및 MNIST에서 GRAN을 능가했으며, 독립형 GRAN 대비 LSUN에서 최악의 오차율이 20% 향상되었다.
• GAP(DCGAN)의 최적 성능는 교환 주기가 0.5(매 에포크 2회)일 때 달성되었으며, 이는 훈련 비용 변동성을 최소화하였다.
• GAP D4는 DCGAN(682.5 ± 12.51)보다 높은 로그 우도(691.6 ± 0.01)를 MNIST에서 기록하여 더 나은 밀도 추정 성능를 보였다.
• 하이브리드 GAP C4 모델은 개별 GAP 모델보다 성능 향상이 없었으며, 현재 설정 하에서는 DCGAN과 GRAN 변종을 조합하는 데 추가 이점이 없음을 시사했다.
• GAP 모델에서 생성된 샘플의 시각적 점검 결과, CIFAR-10 및 LSUN 벤치마크에서 더 높은 다양성과 현실감을 보였다.