[논문 리뷰] MCL-GAN: Generative Adversarial Networks with Multiple Specialized Discriminators

Jin‐Young Choi, Bohyung Han|arXiv (Cornell University)|2021. 07. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 8

한 줄 요약

MCL-GAN은 다중 전문화 판별기와 다중 선택 학습(MCL)을 통해 모드 붕괴를 완화하는 생성 적대 신경망을 제안한다. 비지도 학습으로 각 판별기를 별도의 데이터 클러스터에 할당함으로써 생성기는 협업 피드백을 통해 다양하고 고해상도의 샘플을 학습하게 되며, 최소한의 계산 비용으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a framework of generative adversarial networks with multiple discriminators, which collaborate to represent a real dataset more effectively. Our approach facilitates learning a generator consistent with the underlying data distribution based on real images and thus mitigates the chronic mode collapse problem. From the inspiration of multiple choice learning, we guide each discriminator to have expertise in a subset of the entire data and allow the generator to find reasonable correspondences between the latent and real data spaces automatically without extra supervision for training examples. Despite the use of multiple discriminators, the backbone networks are shared across the discriminators and the increase in training cost is marginal. We demonstrate the effectiveness of our algorithm using multiple evaluation metrics in the standard datasets for diverse tasks.

연구 동기 및 목표

• 생성 적대 신경망(GAN)에서 발생하는 지속적인 모드 붕괴 문제를 해결하기 위해.
• 클래스 레이블이나 추가 지도 없이도 판별기가 자동으로 별도의 데이터 클러스터에 전문화되도록 하기 위해.
• 여러 전문 판별기의 피드백을 융합하여 생성기의 다양성과 정밀도를 향상시키기 위해.
• 모든 판별기 간에 공유 백본 네트워크를 사용하여 계산 효율성을 유지하기 위해.
• 무조건적 및 조건부 이미지 생성을 포함한 다양한 GAN 아키텍처와 작업에 대해 일반화 가능성을 입증하기 위해.

제안 방법

• 다양한 선택 학습(MCL)을 활용하여, 훈련 과정에서 식별된 실 데이터 클러스터의 부분집합에 각각 전문화된 다수의 판별기를 훈련한다.
• 각 판별기는 가장 가까운 실 데이터 샘플과 생성된 샘플을 기반으로 업데이트되며, 지도 없이도 동적 전문가 할당을 형성한다.
• 생성된 샘플의 클러스터에 전문화된 판별기들의 피드백을 집계하여, 생성기가 다양한 모드를 커버하도록 유도한다.
• 최적의 활성 판별기 수를 식별하도록 유도하기 위해 희박성 손실을 적용하여 모델의 강건성을 향상시킨다.
• 다수의 판별기에도 불구하고 공유된 백본 네트워크를 사용하여 추가 훈련 비용을 최소화한다.
• 표준 GAN 목표 함수와의 통합이 원활하며, 다양한 GAN 변종 및 아키텍처와 호환된다.

실험 결과

연구 질문

• RQ1 MCL을 통해 훈련된 다수의 전문화된 판별기는 무조건적 GAN에서 모드 붕괴를 효과적으로 줄일 수 있는가?
• RQ2 MCL-GAN은 클래스 레이블을 사용하지 않고도 레이블 기반 판별기 전문화와 유사한 성능을 달성하는가?
• RQ3 MCL을 조건부 GAN(예: 이미지 간 번역, 텍스트 기반 이미지 생성)에 통합할 경우 다양성과 품질에 어떤 영향을 미치는가?
• RQ4 균형 잡힌 판별기 할당과 희박성 정규화는 모델 수렴성과 강건성에 어떤 영향을 미치는가?
• RQ5 기존의 다중 판별기 GAN과 비교해 MCL-GAN은 효율성과 확장성 면에서 어떻게 다른가?

주요 결과

• MNIST와 Fashion-MNIST에서 m=5일 때 MCL-GAN은 각각 98.3%와 97.7%의 리콜을 기록하여 DCGAN(89.1% 및 92.7% 리콜)을 초월했다.
• CUB-200-2011에서 MCL-GAN은 FID를 62.9±0.001로 개선하고 LPIPS를 0.624±0.002로 낮춰 다양성과 품질 향상을 입증했다.
• StackGAN++를 활용한 텍스트 기반 이미지 생성에서 MCL-GAN은 LPIPS(다양성)를 크게 향상시키면서도 높은 FID 및 NDB 점수를 유지했다.
• 표현형 레이블 기반 판별기 할당과 비교해도 경쟁 가능한 성능을 달성했으며(표 6 참조), MCL이 비지도 전문화에서 신뢰할 수 있음을 입증했다.
• 특히 전문가 훈련과 균형 잡힌 할당을 적용할 경우 하이퍼파rameter 변화에 대해 강건하며, 다양한 m 및 k 값에서도 안정된 성능을 보였다.
• 공유된 백본을 사용함으로써 다수의 판별기에도 불구하고 훈련 비용 증가를 최소화하여 MCL-GAN이 계산적으로 효율적임을 입증했다.