[논문 리뷰] Multi-objective training of Generative Adversarial Networks with multiple discriminators

Isabela Albuquerque, João Monteiro외 4명|arXiv (Cornell University)|2019. 01. 24.

Anomaly Detection Techniques and Applications인용 수 26

한 줄 요약

이 논문은 다수의 판별기로 GAN을 훈련시키는 데 다중 목적 최적화 프레임워크를 제안하며, 각 판별기의 손실을 독립적인 목적함수로 간주한다. 각 판별기에서 유도된 기울기를 동적으로 가중하기 위해 초체적량 최대화를 사용함으로써, 평균 손실 최소화나 다중 기울기 하강법보다 더 뛰어난 샘플 품질과 다양성을 달성하면서도, 후자의 경우보다 더 높은 계산 효율성을 확보한다.

ABSTRACT

Recent literature has demonstrated promising results for training Generative Adversarial Networks by employing a set of discriminators, in contrast to the traditional game involving one generator against a single adversary. Such methods perform single-objective optimization on some simple consolidation of the losses, e.g. an arithmetic average. In this work, we revisit the multiple-discriminator setting by framing the simultaneous minimization of losses provided by different models as a multi-objective optimization problem. Specifically, we evaluate the performance of multiple gradient descent and the hypervolume maximization algorithm on a number of different datasets. Moreover, we argue that the previously proposed methods and hypervolume maximization can all be seen as variations of multiple gradient descent in which the update direction can be computed efficiently. Our results indicate that hypervolume maximization presents a better compromise between sample quality and computational cost than previous methods.

연구 동기 및 목표

• 다수의 판별기 훈련을 다중 목적 최적화 문제로 재구성하여 GAN 훈련의 불안정성과 모드 붕괴 문제를 해결한다.
• 다양한 판별기를 활용하고 적응형 기울기 가중치를 적용하여 GAN의 샘플 품질과 다양성을 향상시킨다.
• 다중 목적 GAN 훈련을 위한 다중 기울기 하강법(MGD)의 계산 효율적인 대안을 개발한다.
• 판별기 수를 늘일 경우 생성기의 강건성, 샘플 품질, 다양성에 미치는 영향을 평가한다.
• 초체적량 최대화가 기존 접근 방식보다 계산 비용과 샘플 품질 사이의 더 우수한 트레이드오���을 제공함을 보여준다.

제안 방법

• 생성기는 초체적량 최대화(HV)를 사용하여 훈련되며, 이는 다수의 판별기에서 유도된 손실의 가중 조합을 최적화하며, 각 판별기의 성능에 따라 가중치를 동적으로 조정한다.
• 목표 공간에서 초체적량을 정의하기 위해 공통의 나이드 포인트 $\bm{\eta}^{*}$ 를 손실의 상한선으로 사용한다.
• 기울기 업데이트는 모든 판별기에서 유도된 기울기를 기반으로 하며, 각 기울기의 초체적량 향상 기여도에 따라 가중한다.
• 실험은 MNIST와 CIFAR-10에서 DCGAN, LSGAN, HingeGAN 아키텍처를 사용하여 평균 손실 최소화, MGD, GMAN과 비교한다.
• 훈련은 64개의 미니배치를 사용하여 150 에포크 동안 진행되며, 병렬화 가능한 판별기 업데이트로 인해 단일 GPU에서 효율적인 계산이 가능하다.
• 이 방법은 초체적량 기반 가중치를 통해 효율적으로 업데이트 방향을 계산하는 다중 기울기 하강법의 변종임을 입증한다.

실험 결과

연구 질문

• RQ1 다수의 판별기를 사용할 때 다중 목적 최적화가 GAN 훈련의 안정성과 샘플 다양성 향상에 기여하는가?
• RQ2 초체적량 최대화는 평균 손실 최소화 및 다중 기울기 하강법과 비교해 샘플 품질과 계산 비용 측면에서 어떻게 성능을 내는가?
• RQ3 판별기 수를 늘일수록 생성기의 강건성과 모드 커버리지가 향상되는가?
• RQ4 스택드 MNIST와 CIFAR-10에서 판별기 수가 FID 점수와 모드 커버리지에 미치는 영향은 어떠한가?
• RQ5 초체적량 최대화는 MGD보다 더 낮은 계산 오버헤드로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MNIST에서 초체적량 최대화는 24개의 판별기를 사용해 FID-ResNet 1.89를 달성하였으며, 평균 손실 최소화 및 GMAN을 능가했고, MGD보다도 더 높은 계산 효율성을 확보했다.
• CIFAR-10에서 제안된 방법은 기준 GAN보다 더 높은 품질의 샘플을 생성하였으며, 판별기 수가 증가할수록 FID 점수에서 일관된 향상이 관찰되었다.
• 스택드 MNIST에서 24개의 판별기를 사용한 결과, 1000.0 ± 0.0개의 모드를 커버하고, 역 KL 발산은 0.084 ± 0.002를 기록하여 DCGAN, ALI, 언롤드 GAN, VEEGAN을 모두 능가했다.
• 판별기 수를 8개에서 24개로 늘임으로써 모드 커버리지는 679.2 ± 5.9에서 1000.0 ± 0.0으로 증가하여 다양성과 강건성이 향상됨을 입증했다.
• 8개 또는 16개의 판별기를 사용할 경우, WGAN-GP보다도 반복당 벽시계 시간이 빠르게 기록되어 단일 GPU 환경에서 매우 실용적임을 보였다.
• 초체적량 최대화는 MGD나 평균 손실 최소화보다 하이퍼파rameter에 덜 민감하며, 계산 비용과 샘플 품질 사이의 더 나은 트레이드오���을 보였다.