[논문 리뷰] Progressive Growing of GANs for Improved Quality, Stability, and Variation

Tero Karras, Timo Aila외 2명|arXiv (Cornell University)|2017. 10. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 1,557

한 줄 요약

이 논문은 GAN을 저해상도에서 고해상도로 학습시키기 위해 생성자와 판별기의 점진적 증가를 도입하여 이미지 품질, 학습 안정성 및 다양성을 개선하고, CelebA, LSUN, CIFAR-10에서 강력한 성과를 보인다.

ABSTRACT

We describe a new training methodology for generative adversarial networks. The key idea is to grow both the generator and discriminator progressively: starting from a low resolution, we add new layers that model increasingly fine details as training progresses. This both speeds the training up and greatly stabilizes it, allowing us to produce images of unprecedented quality, e.g., CelebA images at 1024^2. We also propose a simple way to increase the variation in generated images, and achieve a record inception score of 8.80 in unsupervised CIFAR10. Additionally, we describe several implementation details that are important for discouraging unhealthy competition between the generator and discriminator. Finally, we suggest a new metric for evaluating GAN results, both in terms of image quality and variation. As an additional contribution, we construct a higher-quality version of the CelebA dataset.

연구 동기 및 목표

• 고해상도 이미지 합성을 위한 GAN의 안정화를 이끄는 학습 방법을 제안한다.
• 거칠은 표현에서 미세한 표현으로 학습하기 위해 생성자와 판별기를 점진적으로 확장하는 방법을 제안한다.
• 훈련 중 모드 붕괴를 방지하면서 출력의 다양성을 향상시킨다.
• 생성자-판별기 다이나믹스를 균형 있게 만들기 위한 정규화 기법과 학습 전략을 도입한다.
• 다양한 스케일에 걸친 이미지 품질과 다양성을 모두 포착하는 평가 지표를 제공한다.

제안 방법

• 학습 중에 층을 추가하고 점차적으로 페이딩하여 4x4에서 시작해 더 높은 해상도로 생성자와 판별기를 점진적으로 성장시킨다.
• G와 D가 대칭적으로 성장하는 공유 아키텍처를 사용한다.
• 훈련 중 각 층의 가중치 스케일을 표준화하기 위해 등화 학습률을 적용한다.
• 생성기에서 픽셀 단위 특징 벡터 정규화를 적용해 크기를 제약하고 학습을 안정화한다.
• 판별기에 미니배치 표준편차를 도입해 출력의 다양성을 높인다.
• WGAN-GP 또는 LS GAN 손실을 사용하고 라플라시안 피라미드와 슬라이스드 워서스타인 거리 기반의 다중 스케일 통계적 유사도 지표를 도입한다.

실험 결과

연구 질문

• RQ1 점진적 성장이 GAN 학습을 안정화하고 고해상도 이미지 합성을 가능하게 하는가?
• RQ2 모드 붕괴를 피하면서 생성 이미지의 다양성을 가장 잘 촉진하는 기법은 무엇인가?
• RQ3 다양한 정규화 및 초기화 전략이 GAN 학습 다이나믹스와 수렴에 어떠한 영향을 미치는가?
• RQ4 하나의 GAN 아키텍처가 여러 데이터셋과 해상도에서 고충실도와 다양한 출력을 모두 달성할 수 있는가?
• RQ5 GAN의 스케일 전반에 걸친 품질과 다양성을 가장 잘 포착하는 지표는 무엇인가?

주요 결과

• 점진적 성장은 학습을 크게 가속하고 안정성을 향상시켜 메가픽셀 규모의 이미지 합성을 가능하게 한다.
• 이 접근법은 CelebA에서 1024x1024의 고품질 이미지를, LSUN에서 256x256의 경쟁력 있는 결과를 달성한다.
• CIFAR-10에서 무감독 인셉션 점수가 8.80으로 향상되어 이전 무감독 결과를 능가한다.
• 판별기에 간단한 미니배치 표준편차 층을 추가하면 추가 학습 가능한 매개변수 없이도 다양성이 향상된다.
• 등화 학습률과 픽셀 단위 특징 벡터 정규화는 신호의 증강을 억제하고 학습을 안정화하는 데 도움을 준다.
• 다중 스케일 통계적 유사도(SWD) 지표는 정성적 이득과 일치하는 분포적 유사성의 향상을 보여준다.