[논문 리뷰] MR-GAN: Manifold Regularized Generative Adversarial Networks

Qunwei Li, Bhavya Kailkhura외 4명|arXiv (Cornell University)|2018. 11. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 6

한 줄 요약

이 논문은 실제 데이터의 다양체 기하학적 구조를 통합함으로써 GAN 훈련을 향상시키는 매니폴드 정규화된 생성 대비 신경망인 MR-GAN을 제안한다. 생성자 손실에 매니폴드 정규화 항을 추가함으로써, 안정성 향상, 모드 붕괴 방지, 다양한 GAN 아키텍처(예: DCGAN 및 WGAN)에서의 일반화 및 균형 존재성 향상이 가능해지며, 합성 8모드 데이터셋에서 기하학적 점수 개선률이 최대 51.4%에 이르고, MNIST에서 10.14% 향상된다.

ABSTRACT

Despite the growing interest in generative adversarial networks (GANs), training GANs remains a challenging problem, both from a theoretical and a practical standpoint. To address this challenge, in this paper, we propose a novel way to exploit the unique geometry of the real data, especially the manifold information. More specifically, we design a method to regularize GAN training by adding an additional regularization term referred to as manifold regularizer. The manifold regularizer forces the generator to respect the unique geometry of the real data manifold and generate high quality data. Furthermore, we theoretically prove that the addition of this regularization term in any class of GANs including DCGAN and Wasserstein GAN leads to improved performance in terms of generalization, existence of equilibrium, and stability. Preliminary experiments show that the proposed manifold regularization helps in avoiding mode collapse and leads to stable training.

연구 동기 및 목표

• 지속적인 도전 과제인 모드 붕괴, 균형 부족, 불안정성 문제를 해결하기 위해.
• 실제 데이터의 다중체 기하학적 구조를 활용하여 생성자 일반화 및 훈련 안정성을 향상시키기 위해.
• DCGAN 및 WGAN와 같은 다양한 GAN 아키텍처에 적용 가능한 이론적으로 탄탄한 정규화 방법을 개발하기 위해.
• 실험적으로 매니폴드 정규화가 샘플 품질 향상과 모드 붕괴 감소에 기여함을 입증하기 위해.
• 매니폴드 정규화를 통한 일반화 향상, 균형 존재성, 안정성 향상에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 훈련 중에 생성자가 실제 데이터의 다중체 기하학적 구조를 존중하도록 하는 매니폴드 정규화 항을 도입한다.
• 실제 데이터를 다중체 기하학적 구조를 유지하는 잠재 공간으로 매핑하기 위해 커널 기반의 임베딩 함수 ψ를 사용한다.
• 매니폴드 정규화 항을 생성자 손실 함수에 실제 데이터 다중체와의 거리에 비례하는 페널티 항으로 통합한다.
• DCGAN 및 WGAN와 같은 모든 GAN 프레임워크에 생성자 목표 함수를 수정함으로써 정규화를 적용한다.
• 낮은 편향을 보장하면서 좋은 일반화 성능을 확보하기 위해 깊은 신경망을 사용해 매니폴드 정규화 항을 근사한다.
• 매니폴드 항의 영향력을 조절하기 위해 커널 스케일 파라미터 ρ와 정규화 강도 λ를 사용한다.

실험 결과

연구 질문

• RQ1 실제 데이터의 다중체 기하학적 구조를 통합하면 GAN 훈련의 안정성과 일반화가 향상되는가?
• RQ2 매니폴드 정규화는 GAN 훈련에서 더 나은 균형 존재성과 수렴성을 가져오는가?
• RQ3 제안된 방법은 DCGAN 및 WGAN와 같은 다양한 GAN 아키텍처에서 모드 붕괴를 방지하는가?
• RQ4 매니폴드 정규화는 디스crimิน레이터에 적용된 기존 정규화 기법과 비교해 어떻게 다를까?
• RQ5 매니폴드 정규화는 GAN의 일반화 및 안정성에 이론적으로 어떤 영향을 미치는가?

주요 결과

• 합성 8모드 데이터셋에서 MR-GAN은 표준 GAN 대비 기하학적 점수(GS)를 51.4% 향상시켰으며, GS는 0.909에서 0.442로 감소했다.
• MNIST 데이터셋에서 MR-WGAN는 λ = 0.01 및 ρ = 10 조건에서 WGAN 대비 기하학적 점수(GS = 0.372)에서 10.14% 향상되었으며, WGAN의 GS는 0.414였다.
• CelebA 데이터셋에서 MR-DCGAN는 λ=0.1, ρ=0.5 조건에서 기하학적 점수를 10.77(기준)에서 6.33으로 낮혀 약 40% 향상되었다.
• 제안된 방법은 합성 실험에서 8개 모든 모드에 걸쳐 생성 샘플이 균일하게 분포되어 있음을 통해 모드 붕괴를 성공적으로 방지했다.
• 이론적 분석을 통해 매니폴드 정규화가 어떤 GAN 클래스에서나 일반화, 균형 존재성, 훈련 안정성을 향상시킨다는 것이 확인되었다.
• 매니폴드 정규화 항은 간단하게 구현 가능하며, DCGAN 및 WGAN와 같은 여러 GAN 아키텍처에서 효과적이다.