[논문 리뷰] MSG-GAN: Multi-Scale Gradients GAN for more stable and synchronized multi-scale image synthesis

Animesh Karnewar, Raghu Sesha Iyengar|arXiv (Cornell University)|2019. 03. 14.

Image Processing Techniques and Applications인용 수 8

한 줄 요약

MSG-GAN은 다중 해상도 특징에서의 기울기 흐름을 가능하게 하는 다중 척도 기울기 메커니즘을 도입하여, 생성 모델의 기울기 흐름을 다중 특징 스케일을 통해 생성자로 전달함으로써 GAN 학습의 안정성을 높인다. 이는 초기 설정된 하이퍼파라미터를 유지한 채 다양한 데이터셋과 아키텍처에서 상태최저 성능을 달성하며, 하이퍼파라미터 조정 없이도 일관된 수렴을 보인다.

ABSTRACT

While Generative Adversarial Networks (GANs) have seen huge successes in image synthesis tasks, they are notoriously difficult to adapt to different datasets, in part due to instability during training and sensitivity to hyperparameters. One commonly accepted reason for this instability is that gradients passing from the discriminator to the generator become uninformative when there isn't enough overlap in the supports of the real and fake distributions. In this work, we propose the Multi-Scale Gradient Generative Adversarial Network (MSG-GAN), a simple but effective technique for addressing this by allowing the flow of gradients from the discriminator to the generator at multiple scales. This technique provides a stable approach for high resolution image synthesis, and serves as an alternative to the commonly used progressive growing technique. We show that MSG-GAN converges stably on a variety of image datasets of different sizes, resolutions and domains, as well as different types of loss functions and architectures, all with the same set of fixed hyperparameters. When compared to state-of-the-art GANs, our approach matches or exceeds the performance in most of the cases we tried.

연구 동기 및 목표

• 실제 및 가짜 데이터 분포 간의 겹침이 낮을 때 흔히 발생하는 GAN 학습의 불안정성과 하이퍼파라미터 민감도 문제를 해결하기 위해.
• 다중 척도 기울기 역전파를 통해 생성자로의 기울기 흐름을 향상시키기 위해.
• 고해상도 이미지 합성에서 점진적 성장의 안정적인 대안을 제공하기 위해.
• 고정된 하이퍼파라미터를 사용하여 다양한 데이터셋, 손실 함수, 신경망 아키텍처에서 일관된 학습 수렴을 달성하기 위해.

제안 방법

• 실제 이미지와 생성된 이미지에서 다중 해상도에서 특징을 추출하여 다중 척도 기울기 계산을 도입한다.
• 다중 스케일에서 디스크림ิน레이터를 적용하여 각 스케일의 특징 맵을 통해 생성자로 기울기가 되돌아오도록 한다.
• 모든 스케일에서의 적대적 손실을 통합하는 다중 척도 손실을 사용하여 기울기 신호의 다양성을 향상시킨다.
• 점차 해상도를 높이는 점진적 학습 스케줄을 활용하지만, 각 단계에서 모든 스케일을 통해 기울기 흐름이 유지되도록 한다.
• 모든 스케일에서의 일관된 다중 척도 감시를 통해 기울기 소실이나 정보 없는 기울기 방지를 통해 안정적인 학습을 보장한다.
• 하이퍼파라미터 재조정 없이도 다양한 아키텍처와 손실 함수를 지원한다.

실험 결과

연구 질문

• RQ1 다중 척도 기울기 흐름은 다양한 데이터셋과 아키텍처에서 GAN의 학습 안정성을 향상시킬 수 있는가?
• RQ2 기본 GAN과 비교해 다중 척도에서 기울기 신호를 유지할 경우 하이퍼파라미터 민감도가 감소하는가?
• RQ3 점진적 성장 없이도 MSG-GAN이 상태최저 성능을 달성하거나 초월할 수 있는가?
• RQ4 다중 척도 기울기 역전파가 고해상도 이미지의 품질과 다양성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 손실 함수와 신경망 아키텍처의 변화에 대해 강건한가?

주요 결과

• MSG-GAN은 크기, 해상도, 도메인 등 다양한 특성을 가진 데이터셋 전반에서 안정적인 학습 수렴을 달성한다.
• 다양한 아키텍처와 손실 함수에서 동일한 고정된 하이퍼파라미터로 일관된 성능을 유지한다.
• 모든 테스트 벤치마크에서 이미지 품질과 정확도 측면에서 기존 상태최저 성능 GAN을 충족하거나 초월한다.
• 다중 척도 기울기 메커니즘이 실질적으로 정보 없는 기울기를 완화하며, 특히 실제 및 가짜 분포 간 겹침이 낮을 경우 유의미하게 기여한다.
• 대부분의 경우 점진적 성장을 제거하면서도 고해상도 이미지 합성을 가능하게 한다.
• 아키텍처 및 손실 함수의 변화에 대해 강건성을 보이며, 일반화 능력을 입증한다.