[논문 리뷰] MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks

Animesh Karnewar, Oliver Wang|arXiv (Cornell University)|2019. 03. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 24

한 줄 요약

MSG-GAN은 다중 해상도 수준에서 동시에 생성자에 기울기를 전달할 수 있도록 하는 다중 스케일 기울기 메커니즘을 도입하여 GAN의 안정적인 훈련을 가능하게 한다. 이 방법은 점진적 성장에 의존하지 않고 고정된 초모수를 사용함으로써 다양한 데이터셋(예: CelebA-HQ, FFHQ, CIFAR-10)에서 최신 기술 수준(FID 점수)을 달성하며, 훈련 안정성과 일반화 능력이 크게 향상된다.

ABSTRACT

While Generative Adversarial Networks (GANs) have seen huge successes in image synthesis tasks, they are notoriously difficult to adapt to different datasets, in part due to instability during training and sensitivity to hyperparameters. One commonly accepted reason for this instability is that gradients passing from the discriminator to the generator become uninformative when there isn't enough overlap in the supports of the real and fake distributions. In this work, we propose the Multi-Scale Gradient Generative Adversarial Network (MSG-GAN), a simple but effective technique for addressing this by allowing the flow of gradients from the discriminator to the generator at multiple scales. This technique provides a stable approach for high resolution image synthesis, and serves as an alternative to the commonly used progressive growing technique. We show that MSG-GAN converges stably on a variety of image datasets of different sizes, resolutions and domains, as well as different types of loss functions and architectures, all with the same set of fixed hyperparameters. When compared to state-of-the-art GANs, our approach matches or exceeds the performance in most of the cases we tried.

연구 동기 및 목표

• 실제 및 가짜 데이터 분포 간의 겹침이 낮을 경우 발생하는 정보가 없는 기울기로 인한 GAN 훈련의 불안정성 문제를 해결한다.
• 각 해상도 단계에서 복잡한 스케줄링과 초모수 조정이 필요한 점진적 성장 기법의 한계를 극복한다.
• 데이터셋에 특화된 초모수 조정 없이도 다양한 데이터셋, 아키텍처, 손실 함수에서 훈련 안정성과 수렴 성능을 향상시킨다.
• 단일 고정 초모수 세트를 사용하여 1024×1024 해상도의 이미지 합성도 일관된 성능을 유지할 수 있도록 한다.
• 다양한 벤치마크 데이터셋에서 학습률 변동과 손실 함수 선택에 대한 강건성을 입증한다.

제안 방법

• 다양한 해상도 수준에서 중간 생성자 레이어에서 해당하는 판별자 레이어로 다중 스케일 스위프트 연결을 도입한다.
• 실제 및 가짜 특징 맵을 해당 생성자 활성화 볼륨과 함께 병합한 후 판별자에 입력한다.
• 다중 스케일 특징을 융합하기 위해 학습 가능한 병합 함수(예: 원소별 덧셈 또는 선형 투영을 통한 연결)를 사용한다.
• 단일 판별자를 모든 해상도 수준에서 동시에 훈련시켜, 판별자에서 모든 생성자 레이어로 동시에 기울기 흐름을 가능하게 한다.
• ProGAN 및 StyleGAN 아키텍처 모두에 이 방법을 적용하여 다양한 생성자 및 판별자 설계와의 호환성을 입증한다.
• 모든 데이터셋에서 동일한 훈련 설정을 유지하며, 데이터 도메인이나 해상도에 관계없이 동일한 초모수(예: 고정된 학습률)를 사용한다.

실험 결과

연구 질문

• RQ1 점진적 성장에 의존하지 않고 다중 스케일 기울기 흐름이 GAN 훈련의 안정성을 향상시킬 수 있는가?
• RQ2 다중 스케일 기울기의 포함 여부가 다양한 데이터셋과 아키텍처에서 FID 점수에 어떤 영향을 미치는가?
• RQ3 MSG-GAN은 학습률과 손실 함수 유형의 변동에 얼마나 강건한가?
• RQ4 粗, 중간, 미세 해상도 연결이 전체 생성 성능에 기여하는 정도는 어느 정도인가?
• RQ5 Mixing 정규화 기법을 사용하지 않더라도 MSG-GAN은 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• MSG-StyleGAN을 사용하여 1024×1024 FFHQ 데이터셋에서 FID 점수 6.46을 달성하였으며, 표준 StyleGAN 및 ProGAN 기준보다 뛰어난 성능을 보였다.
• CIFAR-10에서 MSG-ProGAN은 넓은 학습률 범위(0.001에서 0.01) 동안 일관된 인ception 점수(~8.3)를 유지하여 강건성을 입증하였다.
• 제거 실험 결과, 모든 스케일(粗, 중간, 미세)의 연결을 사용할 경우 FFHQ에서 FID 점수 8.36을 기록하여 단일 스케일 실험보다 우수한 성능을 보였다.
• 병합 함수의 영향은 명확하게 드러났다: MSG-StyleGAN에서 φ_cat_lin를 사용하면 FID 점수가 5.80으로 감소하여 성능 향상이著명하였다.
• 동일한 초모수를 사용하여 CelebA-HQ(11.34), LSUN Churches, 그리고 새로 제작한 Indian Celebs 데이터셋에서도 최신 기술 수준 또는 경쟁 가능한 FID 점수를 달성하였다.
• 믹싱 정규화를 지원하지 않음에도 불구하고 MSG-GAN은 타당한 혼합 스타일 이미지를 생성하였으며, 이는 다중 스케일 기울기 덕분에 암묵적인 스타일 분리가 이루어지고 있음을 시사한다.