[논문 리뷰] Mode Regularized Generative Adversarial Networks

Tong Che, Yanran Li외 3명|arXiv (Cornell University)|2016. 12. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 229

한 줄 요약

이 논문은 자자동encoder 기반 정규화 항과 두 단계 MDGAN 학습 체제를 도입하여 GAN의 안정화를 돕고 누락 모드(missing modes)를 완화하여 다양성과 샘플 품질을 향상시킨다.

ABSTRACT

Although Generative Adversarial Networks achieve state-of-the-art results on a variety of generative tasks, they are regarded as highly unstable and prone to miss modes. We argue that these bad behaviors of GANs are due to the very particular functional shape of the trained discriminators in high dimensional spaces, which can easily make training stuck or push probability mass in the wrong direction, towards that of higher concentration than that of the data generating distribution. We introduce several ways of regularizing the objective, which can dramatically stabilize the training of GAN models. We also show that our regularizers can help the fair distribution of probability mass across the modes of the data generating distribution, during the early phases of training and thus providing a unified solution to the missing modes problem.

연구 동기 및 목표

• GAN 훈련의 불안정성과 고차원 공간에서 판별기의 모양으로 인한 모드 누락 문제를 동기 부여한다.
• GAN 목표에 안정적인 기하학적 및 분포 신호를 추가하는 정규화 항을 제안한다.
• 생성기가 데이터와 생성 매니폴드를 정렬시키고 모드 간의 공정한 질량 분포를 촉진하도록 한다.
• 안정성과 샘플 품질을 향상시키기 위해 두 단계 학습 절차(매니폴드 단계와 확산 단계)를 개발한다.

제안 방법

• 인코더를 통해 생성 샘플과 재구성 간의 거리를 최소화하는 기하학적 프랙터 정규화 항을 도입한다, d(x, G(E(x)))를 사용하여.
• 로그 D(G(E(x)))를 활용하는 모드 정규화 항을 도입하여 인접 데이터 모드의 탐색을 촉진한다.
• 두 단계의 Manifold-Diffusion 학습(MDGAN)을 제안한다. 매니폴드 단계에서 매니폴드를 정렬하고 확산 단계에서 모드 간 질량 분포를 형성한다.
• 정규화된 생성자 목표 T_G를 정의한다. 이는 적대적 항과 재구성 및 모드 매칭 항을 결합한다.
• 정규화된 인코더 목표 T_E를 정의한다. 재구성 및 적대적 정렬 항을 포함한다.
• 정규화 GAN의 평가 지표를 논의한다. 모드 커버리지, INCEPTION/MODE 점수 및 제3자 판별기 기반 누락 모드 추정기를 포함한다.

실험 결과

연구 질문

• RQ1 정규화가 GAN 훈련의 안정성과 기울기 동작에 어떤 영향을 미치는가?
• RQ2 기하 기반 신호와 재구성 기반 신호가 누락 모드를 줄이고 모드 표현의 공정을 촉진할 수 있는가?
• RQ3 두 단계의 매니폴드-확산 학습 체계가 샘플 품질과 모드 다양성을 모두 향상시키는가?
• RQ4 정규화 GAN에서 모드 커버리지와 샘플 품질을 가장 잘 포착하는 지표는 무엇인가?
• RQ5 제안된 정규화 항이 다중 모드 데이터 분포를 다루는 작업에서 표준 GAN과 비교하여 어떤 차이가 있는가?

주요 결과

• 정규화 항은 GAN 훈련을 크게 Stabilize하고 모델 분산을 감소시킨다.
• 정규화 항은 데이터 모드 간 확률 질량을 더 공정하게 분포시키는 데 도움을 주어 누락 모드를 해결한다.
• MDGAN은 CelebA에서 샘플의 일관성과 선명도를 개선한다.
• 정량적 지표에서 MODE 점수가 향상되고 합성 MNIST 실험에서 누락 모드가 감소한다.
• 정성적 샘플은 제안된 방법으로 더 높은 시각적 충실도와 다양한 모드를 나타낸다.
• 여러 베이스라인과 비교했을 때 MDGAN/Regularized-GAN 접근 방식은 다양성 및 품질 간의 균형을 더 잘 달성한다.