[논문 리뷰] Progressive Growing of GANs for Improved Quality, Stability, and Variation

Tero Karras, Timo Aila외 2명|arXiv (Cornell University)|2017. 10. 27.

Generative Adversarial Networks and Image Synthesis인용 수 2,871

한 줄 요약

이 논문은 GAN 훈련의 안정성과 고해상도 이미지 생성을 위해 생성기와 판별기를 모두 점진적으로 확장하는 방법을 소개하며, CelebA-HQ 1024^2 및 CIFAR-10의 비지도 점수 8.80 등 품질과 다양성의 향상을 보인다.

ABSTRACT

We describe a new training methodology for generative adversarial networks. The key idea is to grow both the generator and discriminator progressively: starting from a low resolution, we add new layers that model increasingly fine details as training progresses. This both speeds the training up and greatly stabilizes it, allowing us to produce images of unprecedented quality, e.g., CelebA images at 1024^2. We also propose a simple way to increase the variation in generated images, and achieve a record inception score of 8.80 in unsupervised CIFAR10. Additionally, we describe several implementation details that are important for discouraging unhealthy competition between the generator and discriminator. Finally, we suggest a new metric for evaluating GAN results, both in terms of image quality and variation. As an additional contribution, we construct a higher-quality version of the CelebA dataset.

연구 동기 및 목표

• 고해상도에서 GAN 훈련의 불안정성과 제한된 다양성을 동기 부여하고 해결한다.
• 저해상도에서 고해상도까지 생성기와 판별기를 점진적으로 확장하는 학습 체계를 제안한다.
• 추가 하이퍼파라미터 없이 출력 다양성을 높이는 간단한 기법을 도입한다.
• CelebA 1024^2의 고품질 메가픽셀 생성과 CIFAR-10 비지도 인셉션 점수의 강력한 성능을 선보인다.
• G와 D 간의 비건전한 경쟁을 억제하는 실용적 구현 세부사항을 제공하고 품질과 다양성을 평가하는 새로운 지표를 제안한다.

제안 방법

• 레이어를 추가하고 전이 중에 페이딩하며 저해상도(4x4)에서 고해상도(1024x1024)로 G와 D를 점진적으로 성장시킨다.
• 레이어 간 학습 속도를 균형 있게 유지하기 위해 균등화 학습률을 사용한다.
• 생성기에서 픽셀별 특징 벡터 정규화를 적용하여 신호 크기를 제약한다.
• 추가 학습 파라미터 없이 다양성을 촉진하기 위해 판별기에 미니배치 표준편차 기능을 도입한다.
• 학습 가능한 파라미터나 하이퍼파라미터를 추가하지 않는 간소화된 미니배치 차별화 개념을 적용한다.
• 랩라피언 피라미드에 기반한 다중 스케일 통계 유사도 지표(SWD)를 사용해 이미지 분포의 훈련 세트와의 유사성을 평가한다.

실험 결과

연구 질문

• RQ1 생성기와 판별기 모두의 점진적 성장이 고해상도에서 GAN 훈련의 안정화를 가져올 수 있는가?
• RQ2 점진적 성장이 비점진적 GAN과 비교하여 이미지 품질과 훈련 속도를 향상시키는가?
• RQ3 추가 하이퍼파라미터나 복잡한 규제 없이 생성 이미지의 다양성을 어떻게 높일 수 있는가?
• RQ4 다양한 스케일에 걸친 GAN 출력의 품질과 다양성을 가장 잘 정량화하는 지표는 무엇인가?

주요 결과

• 점진적 성장은 학습 속도를 크게 높이고 고해상도 이미지 생성을 안정화한다(예: 최대 1024^2).
• CelebA, LSUN, CIFAR-10 설정 전반에서 수렴 개선 및 더 높은 품질의 이미지를 달성한다.
• 미니배치 표준편차와 균등화 학습률이 모드 붕괴 감소 및 더 다양한 출력을 돕는다.
• 고해상도 평가를 지원하기 위해 1024^2의 고품질 CelebA 데이터셋(CelebA-HQ)이 생성된다.
• CIFAR-10 비지도 인셉션 점수 8.80에 도달하여 기존 비지도 결과를 앞지른다.
• SWD 기반 다중 스케일 평가가 정성적 개선과 일치하며 MS-SSIM을 넘는 구성을 구별한다.