[논문 리뷰] High-resolution Deep Convolutional Generative Adversarial Networks

J. de Curtò, I. de Zarzà외 3명|arXiv (Cornell University)|2017. 11. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 25

한 줄 요약

이 논문은 SELU 활성화 함수와 배치 정규화를 조합하고, 망원경 기반 입력 확대 기법(Glasses)을 도입함으로써 최신 기술 수준의 성능을 달성하는 고해상도 딥 컨volution GAN 아키텍처인 HDCGAN을 제안한다. 이는 512×512 해상도의 현실적이고 다양한 얼굴을 생성하며, 모드 붕괴를 최소화하고 CelebA에서 새로운 SOTA 성능을 기록한다: MS-SSIM 0.1978 및 Fréchet Inception Distance 8.44.

ABSTRACT

Generative Adversarial Networks (GANs) [Goodfellow et al. 2014] convergence in a high-resolution setting with a computational constrain of GPU memory capacity has been beset with difficulty due to the known lack of convergence rate stability. In order to boost network convergence of DCGAN (Deep Convolutional Generative Adversarial Networks) [Radford et al. 2016] and achieve good-looking high-resolution results we propose a new layered network, HDCGAN, that incorporates current state-of-the-art techniques for this effect. Glasses, a mechanism to arbitrarily improve the final GAN generated results by enlarging the input size by a telescope ζ is also presented. A novel bias-free dataset, Curtó & Zarza, containing human faces from different ethnical groups in a wide variety of illumination conditions and image resolutions is introduced. Curtó is enhanced with HDCGAN synthetic images, thus being the first GAN augmented dataset of faces. We conduct extensive experiments on CelebA [Liu et al. 2015], CelebA-hq [Karras et al. 2018] and Curtó. HDCGAN is the current state-of-the-art in synthetic image generation on CelebA achieving a MS-SSIM of 0.1978 and a FRÉCHET Inception Distance of 8.44.

연구 동기 및 목표

• GPU 메모리 제약 조건 하에서 고해상도 이미지 생성에서 GAN의 불안정성과 수렴 불량 문제를 해결하기 위해.
• 고품질이고 다양한 512×512 얼굴 이미지를 생성할 수 있는 확장 가능하고 안정적인 GAN 아키텍처를 개발하기 위해.
• 민족적 배경과 특성 면에서 풍부한 다양성을 지닌 균형 잡힌, 편향 없는 새로운 얼굴 데이터셋(Curtó & Zarza)을 제안하기 위해.
• HDCGAN가 생성한 합성 이미지를 활용해 데이터셋을 보완하여, 처음으로 GAN으로 보강된 얼굴 데이터셋을 만드는 것.
• HDCGAN가 훈련 데이터에 존재하지 않는 새로운 현실적인 얼굴 샘플을 생성할 수 있으며, 이를 통해 기억 현상(기억화)을 피할 수 있음을 입증하기 위해.

제안 방법

• HDCGAN는 고해상도 환경에서의 훈련 안정성과 수렴 성능 향상을 위해 SELU 활성화 함수와 배치 정규화(BS) 레이어를 통합한 깊이 있는 컨volution 아키텍처를 사용한다.
• 낮은 해상도에서부터 높은 해상도로 점진적으로 훈련하는 전략을 사용하여 세부 사항 학습의 안정성을 높인다.
• Glasses 기법은 컨volution 필터를 변경하지 않고도 입력 노이즈 크기를 망원경 인자 ζ에 따라 증가시켜 생성된 이미지 품질을 임의로 향상시킬 수 있다.
• 모델은 스펙트럼 정규화와 가중치 클리핑을 적용하여 훈련을 안정화시키고, 최소화 게임 손실을 사용해 생성자와 판별자를 적대적으로 훈련시킨다.
• 모델은 CelebA와 CelebA-HQ에서 훈련되며, 해상도를 조정한 이미지 버전을 사용해 MS-SSIM과 Fréchet Inception Distance(FID)로 평가된다.
• 훈련된 HDCGAN에서 생성된 합성 이미지를 활용해 Curtó & Zarza 데이터셋을 보완하여, GAN으로 보강된 얼굴 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 GAN 아키텍처가 최소한의 모드 붕괴와 높은 정성적 품질을 갖춘 안정적인 고해상도(512×512) 얼굴 생성을 달성할 수 있는가?
• RQ2 SELU와 배치 정규화의 조합이 딥 컨volution GAN에서 훈련의 안정성과 수렴 성능을 어떻게 향상시키는가?
• RQ3 망원경 인자로 입력 노이즈 크기를 증가시키는 Glasses 기법이 생성된 이미지의 품질과 다양성에 얼마나 기여하는가?
• RQ4 HDCGAN는 훈련 데이터에 존재하지 않는 새로운 현실적인 얼굴 샘플을 생성할 수 있으며, 이를 어떻게 검증할 수 있는가?
• RQ5 HDCGAN가 생성한 이미지로 보강된 Curtó & Zarza 데이터셋은 얼굴 생성 분야에서 GAN 평가를 위한 견고하고 편향 없는 기준이 될 수 있는가?

주요 결과

• HDCGAN는 128×128 해상도에서 CelebA에서 MS-SSIM 0.1978을 기록하며, 이는 이전 SOTA 방법들(예: Karras et al. [2018]: 0.2838)보다 뚜렷이 뛰어나다.
• 64×64 해상도에서 CelebA에서 HDCGAN는 Fréchet Inception Distance(FID) 8.44를 달성하여 이전 SOTA(Karras et al. [2018]: 16.3)를 초월한다.
• 모델은 고해상도이고 세밀하며 다양한 현실적인 512×512 얼굴 이미지를 생성하며, 훈련 과정에서 실패 사례가 감소하고 미세한 잡음 외에는 거의 눈에 띄는 결함이 없다.
• 가장 가까운 이웃 분석을 통해 생성된 샘플이 훈련 데이터에서 기억된 것이 아니라는 것이 확인되었으며, 훈련 데이터 내에서의 가장 가까운 이웃들이 명확히 다를 것이다.
• 4,239개의 HDCGAN가 생성한 이미지로 보강된 Curtó & Zarza 데이터셋은 처음으로 GAN으로 보강된 얼굴 데이터셋이며, 풍부한 특성 다양성과 균형 잡힌 표현을 제공한다.
• Glasses 기법은 입력 노이즈 크기를 확장함으로써 일관된 품질 향상을 가능하게 하여, 아키텍처 변경 없이도 고해상도 생성이 가능함을 입증한다.