[논문 리뷰] MSG-GAN: Multi-Scale Gradient GAN for Stable Image Synthesis.

Animesh Karnewar, Oliver Wang외 1명|arXiv (Cornell University)|2019. 03. 14.

Generative Adversarial Networks and Image Synthesis인용 수 41

한 줄 요약

MSG-GAN은 다중 해상도에서 생성자로의 정보성 기울기 흐름을 가능하게 하는 다중 척도 기울기 메커니즘을 도입하여 GAN 학습을 안정화시킨다. 분류기에서 다양한 해상도에서 추출한 특징을 연결함으로써 학습 안정성을 향상시키고, 다중 해상도 이미지의 고해상도 및 동기화된 합성 구현을 가능하게 하여 CIFAR10, Oxford102 Flowers, CelebA-HQ에서 1024×1024 해상도에서 최신 기준 성능을 달성한다.

ABSTRACT

While Generative Adversarial Networks (GANs) have seen huge successes in image synthesis tasks, they are notoriously difficult to use, in part due to instability during training. One commonly accepted reason for this instability is that gradients passing from the discriminator to the generator can quickly become uninformative, due to a learning imbalance during training. In this work, we propose the Multi-Scale Gradient Generative Adversarial Network (MSG-GAN), a simple but effective technique for addressing this problem which allows the flow of gradients from the discriminator to the generator at multiple scales. This technique provides a stable approach for generating synchronized multi-scale images. We present a very intuitive implementation of the mathematical MSG-GAN framework which uses the concatenation operation in the discriminator computations. We empirically validate the effect of our MSG-GAN approach through experiments on the CIFAR10 and Oxford102 flowers datasets and compare it with other relevant techniques which perform multi-scale image synthesis. In addition, we also provide details of our experiment on CelebA-HQ dataset for synthesizing 1024 x 1024 high resolution images.

연구 동기 및 목표

• 생성자로의 정보 없는 기울기로 인한 GAN 학습의 불안정성 문제를 해결하기 위해.
• GAN 학습 중 다중 척도 간 기울기 흐름을 향상시켜 특징 학습 및 모델 안정성을 향상시키기 위해.
• 일관된 다중 척도 감시를 유지함으로써 동기화된 고해상도 이미지 합성 구현을 위해.
• 복잡한 수정 없이도 학습 역학을 향상시키는 단순하면서도 효과적인 아키텍처 제공을 위해.

제안 방법

• 분류기는 다중 척도에서 특징을 계산하고 이를 함께 연결하여 병합된 식별을 수행함으로써 다중 척도 기울기 신호를 유지한다.
• 기울기는 연결된 특징을 통해 역전파되어 생성자가 모든 척도에서 정보성 신호를 수신할 수 있도록 한다.
• 생성자는 동시에 여러 해상도에서 실사 이미지와 일치하는 이미지를 생성하도록 훈련된다.
• 특징 일관성을 유지하기 위해 척도 간 스킵 연결을 사용하는 표준 컨볼루션 레이어를 활용한다.
• 추가 손실 항목이나 아키텍처의 복잡성 없이, 연결을 통한 기울기 흐름에 의존한다.
• 프레임워크는 종단 간 적용이 가능하여 고해상도 이미지 합성에 대한 안정적인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 척도 기울기 흐름이 이미지 합성 중 GAN의 학습 안정성 향상에 기여할 수 있는가?
• RQ2 분류기에서 다중 척도 특징을 연결함으로써 기울기 신호 품질과 학습 역학에 어떤 영향을 미치는가?
• RQ3 MSG-GAN은 어떤 정도로 향상된 해상도 및 일관성으로 고해상도 이미지(예: 1024×1024)를 생성할 수 있는가?
• RQ4 기준 데이터셋에서 FID 및 시각적 품질 측면에서 기존의 다중 척도 GAN과 비교해 MSG-GAN은 어떤가?
• RQ5 제안된 방법은 CIFAR10, Oxford102 Flowers, 그리고 CelebA-HQ를 포함한 다양한 데이터셋에서 성능을 유지하는가?

주요 결과

• MSG-GAN은 CIFAR10과 Oxford102 Flowers에서 최신 기준 FID 점수를 달성하여 이미지 품질 향상과 학습 안정성 향상을 입증하였다.
• 모델은 CelebA-HQ에서 1024×1024 해상도 이미지를 고해상도 및 최소한의 잡음으로 성공적으로 합성하였다.
• 다중 척도 특징을 연결한 방식은 기울기 흐름을 크게 향상시켜 표준 GAN보다 학습 불안정성을 감소시켰다.
• 정량적 지표와 정성적 이미지 품질 측면에서 기준 GAN 및 다른 다중 척도 접근 방식보다 우수한 성능을 보였다.
• 추가 손실 항목이나 하이퍼파라미터 튜닝 없이도 모든 척도에서 학습 과정이 안정적으로 유지되었다.