[논문 리뷰] The GAN Landscape: Losses, Architectures, Regularization, and Normalization

Karol Kurach, Mario Lučić외 3명|arXiv (Cornell University)|2018. 06. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 124

한 줄 요약

이 논문은 GAN의 지형을 종합적으로 실험적으로 연구하며, 손실 함수, 아키텍처, 정규화 기법 및 정규화 기법을 체계적으로 평가한다. 최신 기술 수준의 결과를 재현하고, 일반적인 학습 과정의 오류를 밝혀내며, 재현 가능성을 높이고 향후 GAN 개발을 안내하기 위해 코드와 사전 학습된 모델을 공개한다.

ABSTRACT

Generative adversarial networks (GANs) are a class of deep generative models which aim to learn a target distribution in an unsupervised fashion. While they were successfully applied to many problems, training a GAN is a notoriously challenging task and requires a significant amount of hyperparameter tuning, neural architecture engineering, and a non-trivial amount of tricks. The success in many practical applications coupled with the lack of a measure to quantify the failure modes of GANs resulted in a plethora of proposed losses, regularization and normalization schemes, and neural architectures. In this work we take a sober view of the current state of GANs from a practical perspective. We reproduce the current state of the art and go beyond fairly exploring the GAN landscape. We discuss common pitfalls and reproducibility issues, open-source our code on Github, and provide pre-trained models on TensorFlow Hub.

연구 동기 및 목표

• 현재 GAN 학습 기법을 체계적이고 재현 가능한 방식으로 평가하기 위해.
• GAN 학습에서 흔히 발생하는 실패 유형과 하이퍼파라미터 오류를 식별하기 위해.
• 표준화된 프로토콜을 사용하여 최신 기술 수준의 GAN 성능 기준을 설정하기 위해.
• TensorFlow Hub에 코드와 사전 학습된 모델을 공개하여 재현 가능성을 높이기 위해.

제안 방법

• 일致된 학습 프로토콜 하에 표준 GAN, WGAN, 힌지, LS-GAN 등을 포함한 다양한 GAN 손실 함수를 실험적으로 평가한다.
• 다양한 신경망 아키텍처, 정규화 레이어(BatchNorm, InstanceNorm, LayerNorm), 정규화 기법을 체계적으로 테스트한다.
• 다양한 아키텍처와 학습 설정 간에 다양한 정규화 방식을 적용하고 비교한다.
• 각 구성 요소가 학습 안정성과 샘플 품질에 미치는 영향을 격리하기 위해 통제된 아블레이션 연구를 수행한다.
• 표준화된 학습 절차를 사용하여 CIFAR-10 및 CelebA 데이터셋에서 최신 기술 수준의 결과를 재현한다.
• 재현 가능성과 투명성을 확보하기 위해 GitHub 및 TensorFlow Hub에 코드와 사전 학습된 모델을 공개한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 아키텍처에서 어떤 GAN 손실 함수가 가장 안정적인 학습과 가장 우수한 샘플 품질을 제공하는가?
• RQ2 BatchNorm, InstanceNorm, LayerNorm 등의 다양한 정규화 레이어는 GAN 학습의 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 아키텍처 선택과 정규화 기법은 GAN 수렴성과 모드 커버리지에 어떤 영향을 미치는가?
• RQ4 표준화된 학습 프로토콜을 사용할 경우 최신 기술 수준의 GAN 성능를 일관되게 재현할 수 있는 정도는 어느 정도인가?
• RQ5 GAN 학습에서 가장 흔한 재현 가능성 문제점은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 손실 함수의 선택은 학습 안정성과 샘플 품질에 큰 영향을 미치며, 특히 CIFAR-10과 CelebA에서 힌지 손실과 WGAN 손실이 뛰어난 성능을 보였다.
• InstanceNorm과 LayerNorm과 같은 정규화 레이어는 특히 작은 데이터셋에서 BatchNorm보다 더 우수한 성능을 보였다.
• 잔차 연결과 자기주의 모듈을 포함한 아키텍처 선택은 샘플의 다양성과 정확도 향상에 결정적인 역할을 했다.
• 재현 가능성은 하이퍼파라미터와 학습 프로토콜에 매우 민감하며, 작은 변화만으로도 성능에 큰 영향을 미쳤다.
• 표준화된 학습 절차와 오픈소스 코드의 사용은 최신 기술 수준의 결과를 일관되게 재현할 수 있도록 했다.
• TensorFlow Hub에 공개된 사전 학습된 모델은 벤치마킹과 후속 모델 적응을 용이하게 했다.