[논문 리뷰] CDE-GAN: Cooperative Dual Evolution Based Generative Adversarial Network

Shiming Chen, Wenjie Wang외 4명|arXiv (Cornell University)|2020. 08. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 54인용 수 5

한 줄 요약

CDE-GAN은 생성기와 판별기를 별도로 진화시키는 협동 이중 진화 프레임워크를 제안하여 GAN에서 발생하는 모드 붕괴와 학습 불안정성을 해결한다. 이중 돌연변이 다양성과 생성기 및 판별기 업데이트를 균형 잡는 소프트 메커니즘을 도입함으로써, CDE-GAN은 합성 및 실제 이미지 벤치마크에서 뛰어난 샘플 다양성과 품질을 달성하며, 더 적은 학습 스텝으로 최신 기법들을 능가한다.

ABSTRACT

Generative adversarial networks (GANs) have been a popular deep generative model for real-world applications. Despite many recent efforts on GANs that have been contributed, mode collapse and instability of GANs are still open problems caused by their adversarial optimization difficulties. In this paper, motivated by the cooperative co-evolutionary algorithm, we propose a Cooperative Dual Evolution based Generative Adversarial Network (CDE-GAN) to circumvent these drawbacks. In essence, CDE-GAN incorporates dual evolution with respect to the generator(s) and discriminators into a unified evolutionary adversarial framework to conduct effective adversarial multi-objective optimization. Thus it exploits the complementary properties and injects dual mutation diversity into training to steadily diversify the estimated density in capturing multi-modes and improve generative performance. Specifically, CDE-GAN decomposes the complex adversarial optimization problem into two subproblems (generation and discrimination), and each subproblem is solved with a separated subpopulation (E-Generator} and E-Discriminators), evolved by its own evolutionary algorithm. Additionally, we further propose a Soft Mechanism to balance the trade-off between E-Generators and E-Discriminators to conduct steady training for CDE-GAN. Extensive experiments on one synthetic dataset and three real-world benchmark image datasets demonstrate that the proposed CDE-GAN achieves a competitive and superior performance in generating good quality and diverse samples over baselines. The code and more generated results are available at our project homepage: https://shiming-chen.github.io/CDE-GAN-website/CDE-GAN.html.

연구 동기 및 목표

• 대부분의 GAN 학습 문제, 특히 적대적 최적화의 어려움으로 인한 모드 붕괴와 불안정성 문제를 해결한다.
• 단일 목표 최적화의 한계를 극복하기 위해 적대적 학습을 다중 목표 최적화 문제로 재정의한다.
• 생성기와 판별기를 병렬로 진화시키며 상호보완적인 돌연변이 전략을 적용하는 협동 공진화 프레임워크를 도입한다.
• 생성기와 판별기 간의 학습 역학을 균형 잡아 한쪽이 지배하는 것을 방지하고 안정적이고 효과적인 학습을 보장한다.
• 이중 진화 인구 역학을 통해 생성 샘플의 다양성과 품질을 향상시켜 생성 성능을 개선한다.

제안 방법

• CDE-GAN은 적대적 학습을 생성기 진화(E-Generators)와 판별기 진화(E-Discriminators)로 두 개의 하위 문제로 분해하며, 각각 별도의 진화 알고리즘으로 관리한다.
• 이중 진화는 생성기 및 판별기 인구에 상호보완적인 돌연변이 다양성을 도입하여 여러 데이터 모드를 탐색하고 밀도 추정을 향상시킨다.
• 프레임워크는 적대적 학습을 다중 목표 최적화 문제로 간주하며, 다수의 판별기가 생성기에게 정보성 기울기를 제공하여 학습을 안정화시킨다.
• 소프트 메커니즘이 도입되어 판별기의 최대화 목표를 약화시켜 너무 강력해지는 것을 방지하고 '쐐기 밀기' 문제를 피한다.
• 통합된 진화적 적대적 프레임워크를 사용하여 공유 피드백 및 선택 메커니즘을 통해 E-Generators와 E-Discriminators를 조율한다.
• 학습은 반복적인 업데이트를 포함하며, E-Generators가 샘플을 생성하고, E-Discriminators가 이를 평가하며, 각 인구는 적합도 평가 및 선택 기반으로 진화한다.

실험 결과

연구 질문

• RQ1 협동 이중 진화를 통해 생성기와 판별기를 진화시켜 데이터 분포 추정의 다양성을 향상시킴으로써 GAN의 모드 붕괴 문제를 완화시킬 수 있는가?
• RQ2 다수의 판별기를 통한 다중 목표 최적화가 단일 판별기 GAN과 비교해 기울기 피드백을 어떻게 향상시키고 학습을 안정화시키는가?
• RQ3 소프트 메커니즘이 생성기와 판별기 업데이트를 얼마나 잘 균형 잡아 학습 열화를 방지하고 안정적인 수렴을 보장하는가?
• RQ4 이중 진화 전략은 기존 최신 기법들과 비교해 고성능이고 다양한 샘플을 얻기 위해 필요한 학습 스텝 수를 얼마나 줄이는가?
• RQ5 제안된 프레임워크는 합성 및 실제 이미지 벤치마크를 포함한 다양한 데이터셋에 일반화 가능한가?

주요 결과

• CDE-GAN은 CIFAR-10, LSUN-Bedrooms 및 CelebA에서 최신 기준(Fréchet Inception Distance, FID) 점수를 확보하여 뛰어난 샘플 품질과 다양성을 입증한다.
• 2D 8개 가우시안 혼합 분포 데이터셋에서 CDE-GAN은 모드 붕괴 없이 모두 여덟 개의 모드를 성공적으로 포착했으며, 기준 GAN은 모든 모드를 커버하지 못했다.
• 그림 5에서 보듯이, CDE-GAN은 기준 기법보다 훨씬 적은 학습 스텝으로 동일하거나 더 높은 성능에 도달함으로써 더 빠른 수렴을 보였다.
• 1개 GPU에서의 생성기 반복 시간은 판별기 수에 따라 증가한다: I=1일 때 0.039초, I=2일 때 0.079초, I=4일 때 0.158초, I=8일 때 0.303초이지만, 향상된 샘플 품질은 이 비용을 정당화한다.
• 소프트 메커니즘이 효과적으로 판별기 지배를 방지하고 학습을 안정화시켰으며, 일관된 성능과 감소한 학습 병태를 통해 이를 입증했다.
• 광범위한 추상화 연구를 통해 이중 돌연변이 다양성과 다중 목표 최적화가 CDE-GAN이 모드 붕괴를 피하고 일반화 능력을 향상시키는 데 핵심 요소임을 확인했다.