[논문 리뷰] Gang of GANs: Generative Adversarial Networks with Maximum Margin Ranking

Felix Juefei-Xu, Vishnu Naresh Boddeti외 1명|arXiv (Cornell University)|2017. 04. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 22

한 줄 요약

이 논문은 워셔스타인 GAN을 향상시키기 위해 판별자에 최대 마진 순위 손실을 도입한 점진적 훈련 프레임워크인 Gang of GANs(GoGAN)을 제안한다. 이는 생성자 품질을 향상시키며, 실제 데이터와 생성된 데이터 간의 분포 갭을 최소로 절반 이하로 줄이고, CelebA, LSUN Bedroom, CIFAR-10 및 한 장의 얼굴 이미지 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 이미지 복원 메트릭을 통해 검증되었다.

ABSTRACT

Traditional generative adversarial networks (GAN) and many of its variants are trained by minimizing the KL or JS-divergence loss that measures how close the generated data distribution is from the true data distribution. A recent advance called the WGAN based on Wasserstein distance can improve on the KL and JS-divergence based GANs, and alleviate the gradient vanishing, instability, and mode collapse issues that are common in the GAN training. In this work, we aim at improving on the WGAN by first generalizing its discriminator loss to a margin-based one, which leads to a better discriminator, and in turn a better generator, and then carrying out a progressive training paradigm involving multiple GANs to contribute to the maximum margin ranking loss so that the GAN at later stages will improve upon early stages. We call this method Gang of GANs (GoGAN). We have shown theoretically that the proposed GoGAN can reduce the gap between the true data distribution and the generated data distribution by at least half in an optimally trained WGAN. We have also proposed a new way of measuring GAN quality which is based on image completion tasks. We have evaluated our method on four visual datasets: CelebA, LSUN Bedroom, CIFAR-10, and 50K-SSFF, and have seen both visual and quantitative improvement over baseline WGAN.

연구 동기 및 목표

• 기존 GAN과 WGAN의 한계를 해결하기 위해 최대 마진 순위 기준을 도입한 판별자 향상으로 GAN을 향상시키는 것.
• 후속 단계의 GAN이 이전 단계의 GAN을 기반으로 공유된 마진 기반 손실을 통해 향상시키는 점진적 훈련 철학을 개발하는 것.
• 이론적으로 최적 훈련 조건에서 WGAN이 최적화된 경우 GoGAN이 실제 데이터와 생성된 데이터 간의 분포 갭을 최소로 절반 이하로 줄일 수 있음을 보장하는 것.
• 이미지 복원 성능을 기반으로 한 새로운 GAN 품질 평가 지표를 제안하여 기존 지표보다 더 의미 있는 평가를 제공하는 것.

제안 방법

• WGAN 판별자 손실을 마진 기반 허프 손실로 일반화하여 특징 공간에서 실제 샘플과 생성된 샘플 간의 더 큰 분리가 이루어지도록 유도한다.
• 다중 GAN을 순차적으로 훈련하는 점진적 훈련 전략을 도입하여, 후속 모델이 이전 모델의 지식을 공유된 마진 기반 순위 손실을 통해 활용하도록 한다.
• 다단계 훈련 과정을 구현하여, 후속 GoGAN 단계에서 이전 생성자 출력을 활용해 판별자의 마진 기반 손실을 개선한다.
• 실수 가능한 또는 고정된 마진을 가진 수정된 허프 손실을 사용하여 실제 샘플과 가짜 샘플 간의 더 큰 마진을 강제로 적용함으로써 판별자의 강건성을 향상시킨다.
• 일致성을 확보하기 위해 모든 실험에서 동일한 DCGAN 아키텍처를 사용하며, 1000 에포크 동안 훈련하고 배치 크기를 64로 설정한다.
• 생성자 품질과 일반화 능력을 평가하기 위해 25% 및 49%의 손실 조건 하에서 이미지 복원을 새로운 평가 프로토콜로 제안한다.

실험 결과

연구 질문

• RQ1 마진 기반 판별자 손실이 기존 WGAN을 초월해 GAN의 일반화 및 안정성을 향상시킬 수 있는가?
• RQ2 다양한 GAN을 통합한 점진적 훈련 철학이 단일 단계 훈련보다 더 나은 생성자 성능을 낼 수 있는가?
• RQ3 제안된 GoGAN 프레임워크가 실제 데이터와 생성된 데이터 간의 분포 갭을 최소로 절반 이하로 이론적으로 줄일 수 있는가?
• RQ4 손실 조건 하에서의 이미지 복원은 FID나 Inception Score와 같은 기존 지표보다 GAN 품질 평가에 더 효과적이고 의미 있는가?

주요 결과

• 49% 손실 조건에서 50K-SSFF 데이터셋에서 GoGAN은 25.71 PSNR와 0.5963 SSIM을 기록하여 WGAN의 21.24 PSNR와 0.5725 SSIM을 능가했다.
• 2단계 GoGAN은 49% 손실 조건에서 0.7966 SSIM과 25.71 PSNR를 기록하여 1단계 GoGAN 및 WGAN보다 일관된 향상을 보였다.
• 이론적으로 최적 훈련 조건에서 실제 데이터와 생성된 데이터 간의 분포 갭이 최소로 절반 이하로 줄어들었음을 입증했다.
• 이미지 복원 결과는 GoGAN이 생성한 이미지가 특히 고도의 손실 조건에서 더 의미적으로 일관되고 세밀한 품질을 지닌다는 것을 보여주었다.
• 점진적 훈련 체계는 모든 데이터셋에서 SSIM과 PSNR 측면에서 측정 가능한 향상을 이끌어내어 반복적 개선의 이점이 있음을 확인했다.
• 제안된 이미지 복원 기반 평가 방법은 생성자 품질의 더 세밀한 차이를 드러내었으며, GoGAN의 구조적 및 의미적 일관성에서의 열세를 입증했다.