[논문 리뷰] Evolutionary Generative Adversarial Networks

Chaoyue Wang, Chang Xu외 2명|arXiv (Cornell University)|2018. 03. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 1인용 수 19

한 줄 요약

이 논문은 다수의 적대적 목적함수를 돌연변이 연산으로 사용하여 생성자 집단을 진화시키는 진화계산을 활용해 GAN 학습을 안정화하는 새로운 프레임워크인 진화적 생성적 적대망(E-GAN)을 제안한다. 품질과 다양성 기반으로 가장 적합한 생성자를 선별함으로써 E-GAN은 개별 손실 함수의 한계를 극복하여 다양한 데이터셋에서 훈련 안정성과 최신 기술 수준의 이미지 생성 성능을 달성한다.

ABSTRACT

Generative adversarial networks (GAN) have been effective for learning generative models for real-world data. However, existing GANs (GAN and its variants) tend to suffer from training problems such as instability and mode collapse. In this paper, we propose a novel GAN framework called evolutionary generative adversarial networks (E-GAN) for stable GAN training and improved generative performance. Unlike existing GANs, which employ a pre-defined adversarial objective function alternately training a generator and a discriminator, we utilize different adversarial training objectives as mutation operations and evolve a population of generators to adapt to the environment (i.e., the discriminator). We also utilize an evaluation mechanism to measure the quality and diversity of generated samples, such that only well-performing generator(s) are preserved and used for further training. In this way, E-GAN overcomes the limitations of an individual adversarial training objective and always preserves the best offspring, contributing to progress in and the success of GANs. Experiments on several datasets demonstrate that E-GAN achieves convincing generative performance and reduces the training problems inherent in existing GANs.

연구 동기 및 목표

• 단일 적대적 목적함수에 의존함으로써 발생하는 훈련 불안정성과 모드 붕괴 문제를 해결하기 위해.
• 다양한 거리 척도(예: JSD, WGAN, LSGAN)를 동적 조합하여 다양한 돌연변이 전략으로 활용함으로써 생성 성능을 향상시키기 위해.
• 다양한 네트워크 아키텍처와 하이퍼파라미터 설정에서도 훈련의 강건성을 향상시키기 위해.
• 생성자 품질을 평가하고 반복 과정에서 상위 성능을 보인 모델만 유지하는 인구 기반의 진화 프레임워크를 개발하기 위해.

제안 방법

• E-GAN은 판별자(디스criminator)가 적응적인 손실 함수를 제공하는 동적 환경으로 작용하는 진화 과정으로 GAN 훈련을 프레임워크화한다.
• 다양한 적대적 목적함수(예: minimax, 최소제곱, WGAN, JSD)를 서로 다른 돌연변이 연산으로 사용하여 다양한 후손 생성자를 생성한다.
• 각 생성자 후손은 현재 판별자의 실재 대 가짜 샘플 구분 능력을 기반으로 한 품질 및 다양성 지표를 사용해 평가된다.
• 실제로 현실적이며 다양한 샘플을 생성하는 가장 높은 성능의 생성자들만 선별되어 다음 진화 세대로 이어지며, '생존의 본능' 원칙을 따르는 방식이다.
• 각 반복 단계에서 생성자 집단의 변화에 맞춰 판별자도 재학습되어 동적 적대 피드백 루프를 유지한다.
• 네트워크 용량이 감소하거나 정규화 레이어가 제거된 상황에서도 성능을 유지함으로써 아키텍처 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 진화 프레임워크를 통해 다수의 적대적 훈련 목적함수를 조합하면 GAN 훈련의 안정성 향상과 모드 붕괴 감소에 기여하는가?
• RQ2 성능 지표 기반의 진화적 생성자 선택이 생성 샘플의 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 E-GAN은 다양한 네트워크 아키텍처와 하이퍼파라미터 설정에서도 성능을 유지하는가?
• RQ4 진화적 접근이 생성 이미지의 잠재공간 연속성과 의미적 보간에 더 나은 성능을 보이는가?

주요 결과

• E-GAN은 LSUN, CelebA, CIFAR-10 데이터셋에서 최신 기술 수준의 이미지 생성 성능를 달성하여 고해상도이고 다양한 샘플을 생성한다.
• LSUN 침실 데이터셋에서 E-GAN은 생성자와 판별자 양쪽에서 배치 정규화를 제거한 상황에서도 128×128 고화질 이미지를 성공적으로 생성하여 아키텍처 강건성을 입증한다.
• CelebA 데이터셋에서 E-GAN은 잠재공간 내에서 매끄러운 선형 보간을 가능하게 하여 성별, 연령, 표정과 같은 속성들이 의미적으로 분리되어 있음을 보여준다. 이는 모드 붕괴 없이도 성능을 유지를 함을 의미한다.
• DCGAN, LSGAN, WGAN, WGAN-GP와 비교해 모든 테스트 아키텍처에서 E-GAN이 슈퍼리어한 훈련 안정성을 보이며 슈퍼리어한 성능을 기록한다. 이는 제한된 용량의 네트워크에서도 마찬가지로 성립한다.
• 진화적 선택을 통해 다수의 손실 함수를 동적으로 전환함으로써 기울기 소멸 문제를 줄이고 열악한 평형점에 수렴하는 것을 방지한다.
• 실험 결과, 히우리스틱 돌연변이 수가 시간이 지남에 따라 감소하는 반면, E-GAN은 더 효과적이고 다양한 돌연변이 전략을 선호함으로써 성능를 유지한다.