[논문 리뷰] MGGAN: Solving Mode Collapse using Manifold Guided Training

Duhyeon Bang, Hyunjung Shim|arXiv (Cornell University)|2018. 04. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 31

한 줄 요약

이 논문은 고정된 사전 훈련된 오토인코더 기반 가이던스 네트워크를 도입하여 모든 데이터 분포 모드를 포괄하는 생성자 학습을 보장함으로써 모드 붕괴를 완화하는 새로운 GAN 훈련 프레임워크인 MGGAN을 제안한다. 오토인코더의 잠재 표현에서 유도된 다양체 공간에서의 적대적 손실을 활용함으로써 MGGAN은 아키텍처나 손실 함수의 전면적 개선 없이도 높은 이미지 품질을 유지하면서도 샘플 다양성을 크게 향상시킨다.

ABSTRACT

Mode collapse is a critical problem in training generative adversarial networks. To alleviate mode collapse, several recent studies introduce new objective functions, network architectures or alternative training schemes. However, their achievement is often the result of sacrificing the image quality. In this paper, we propose a new algorithm, namely a manifold guided generative adversarial network (MGGAN), which leverages a guidance network on existing GAN architecture to induce generator learning all modes of data distribution. Based on extensive evaluations, we show that our algorithm resolves mode collapse without losing image quality. In particular, we demonstrate that our algorithm is easily extendable to various existing GANs. Experimental analysis justifies that the proposed algorithm is an effective and efficient tool for training GANs.

연구 동기 및 목표

• 진정한 데이터 분포의 모든 모드를 포착하지 못하는 생성자가 발생하는 지속적인 문제인 모드 붕괴를 해결한다.
• 이미지 품질이 흔히 희생되는 기존 접근 방식과는 달리, 훈련 안정성과 샘플 다양성을 향상시킨다.
• 고정된 사전 훈련된 다양체 매핑을 활용하여 생성자가 데이터 분포의 주요 및 보조 모드를 모두 학습할 수 있도록 하는 방법을 개발한다.
• 생성자나 판별자에 과도하게 제약을 가하지 않으면서도 생성자 다양성을 향상시키는 약한 이중 방향 매핑 메커니즘을 도입한다.
• 기존 다양한 GAN 아키텍처와의 호환성과 확장성을 확보하여 원래의 손실 함수나 훈련 동역학에 대한 수정 없이도 적용 가능하도록 한다.

제안 방법

• 표준 GAN 아키텍처에 사전 훈련된 인코더를 포함한 가이던스 네트워크를 통합하여 진짜 이미지를 공통의 다양체 공간으로 매핑한다.
• 인코더의 잠재 표현을 전체 데이터 다양체의 대리자로 사용하여 진짜 분포의 모든 모드가 유지됨을 보장한다.
• 잠재 공간에서 진짜와 생성된 샘플의 분포를 비교하기 위해 다양체 공간에서 판별자를 훈련하고, 적대적 손실을 사용한다.
• GAN 훈련 중에 오토인코더 인코더를 고정하여 오류 전파를 방지하고 안정적인 다양체 표현을 유지한다.
• 다양체 공간과 잠재 공간을 연결하는 추가적인 완전 연결 네트워크를 통해 약한 이중 방향 매핑을 구현하여 재구성과 잠재 공간 내삽을 허용한다.
• 메인 판별자와 다양체 공간 판별자 모두에서 적대적 손실만을 사용함으로써 표준 GAN 훈련 동역학을 유지하고 훈련 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 고정된 사전 훈련된 오토인코더의 잠재 공간이 데이터 분포의 모든 모드를 학습하도록 유도하는 데 효과적인 다양체로 기능할 수 있는가?
• RQ2 다양체 공간 판별자를 통합함으로써 이미지 품질이 떨어지지 않으면서도 모드 커버리지가 향상되는가?
• RQ3 제안된 가이던스 메커니즘이 아키텍처 변경 없이 다양한 기존 GAN 아키텍처에 원활하게 확장 가능한가?
• RQ4 다양체 공간과 잠재 공간 간의 약한 이중 방향 매핑이 샘플 다양성과 재구성 정밀도를 어느 정도 향상시키는가?
• RQ5 생성자가 의미 있는 연속적인 잠재 공간 구조를 학습하는가를 통해 일반화된 학습이 이루어지는지, 단순한 암기인지 확인할 수 있는가?

주요 결과

• MGGAN은 아키텍처나 품질 저하 없이 여러 GAN 변종(DCGAN-MG, LSGAN-MG, DRAGAN-MG, DFM-MG)에서 모드 붕괴를 효과적으로 해결한다.
• 재구성 실험 결과, MGGAN이 생성한 이미지는 성별, 안경, 배경 색상 등의 핵심 속성을 유지하며, ALI와 같은 이중 방향 모델보다 뛰어난 성능을 보였다.
• 잠재 공간 내삽 결과는 생성된 이미지 간에 부드럽고 의미 있는 전환을 보여주며, 생성자가 의미 있는 연속적인 잠재 공간 구조를 학습하고 있음을 시사한다.
• 전체 데이터 다양체를 반영한 가이던스 네트워크 피드백 덕분에 생성자는 주요 모드뿐 아니라 보조 모드까지 학습하여 더 높은 샘플 다양성을 달성한다.
• 고정된 오토인코더 인코더가 오류 전파를 방지하고 훈련 안정성을 유지하며, 다양한 GAN 아키텍처에서 일관된 성능을 보임을 확인했다.
• 정량적 및 정성적 평가를 통해 MGGAN은 높은 품질의 이미지 생성을 유지하면서도 최신 기술 수준의 다양성을 달성함을 입증하여 그 효과성과 일반화 능력을 입증했다.