[논문 리뷰] MMGAN: Generative Adversarial Networks for Multi-Modal Distributions

Teodora Pandeva, Matthias Schubert|arXiv (Cornell University)|2019. 11. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 8

한 줄 요약

MMGAN는 다중 모달 데이터에서 훈련 안정성과 생성 품질을 향상시키기 위해 잠재 공간을 가우시안 혼합 모델(GMM)으로 모델링하는 새로운 GAN 아키텍처를 제안한다. 전용 클러스터링 네트워크를 통해 각 데이터 매니폴드를 별개의 잠재 클러스터에 연결함으로써, MMGAN는 뛰어난 클러스터링 성능과 안정적인 훈련을 달성하며, MNIST, Fashion-MNIST, Coil-20 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Over the past years, Generative Adversarial Networks (GANs) have shown a remarkable generation performance especially in image synthesis. Unfortunately, they are also known for having an unstable training process and might loose parts of the data distribution for heterogeneous input data. In this paper, we propose a novel GAN extension for multi-modal distribution learning (MMGAN). In our approach, we model the latent space as a Gaussian mixture model with a number of clusters referring to the number of disconnected data manifolds in the observation space, and include a clustering network, which relates each data manifold to one Gaussian cluster. Thus, the training gets more stable. Moreover, MMGAN allows for clustering real data according to the learned data manifold in the latent space. By a series of benchmark experiments, we illustrate that MMGAN outperforms competitive state-of-the-art models in terms of clustering performance.

연구 동기 및 목표

• 표준 GAN이 다중 모달 분포를 모델링할 때 발생하는 안정성 문제와 모드 붕괴를 해결하기 위해.
• 데이터 매니폴드와 정렬된 구조적이고 분리된 잠재 공간을 학습함으로써 실데이터의 해석 가능한 클러스터링을 가능하게 하기 위해.
• 각 클러스터 전용 성분을 갖는 GMM로 잠재 공간을 명시적으로 모델링함으로써 생성 성능 향상과 훈련 안정성을 향상시키기 위해.
• 후처리나 강력한 VAE 스타일의 인도크티브 비스를 기반으로 하지 않고도 생성과 비지도 클러스터링을 통합하는 프레임워크를 제공하기 위해.

제안 방법

• 잠재 공간을 K개의 성분을 갖는 학습 가능한 가우시안 혼합 모델(GMM)로 모델링하는 GAN 변종(MMGAN)을 도입하며, 각 성분은 데이터 매니폴드에 대응한다.
• 실데이터를 잠재 공간의 가장 가능성이 높은 GMM 성분으로 매핑하는 클러스터링 네트워크를 통합하여, 적대적 손실과 함께 엔드 투 엔드 훈련을 가능하게 한다.
• 훈련 중에 실데이터와 생성 샘플이 동일한 GMM 클러스터에 할당되도록 쌍화 전략을 적용함으로써, 판별자 신호를 강화하고 훈련 안정성을 향상시킨다.
• 특히 고차원 및 다중 모달 환경에서의 모드 커버리지 향상과 훈련 안정성 향상을 위해 cRaSGAN 적대적 손실을 활용한다.
• 모델링 가능한 복잡하고 분리된 데이터 분포를 MMGAN 아키텍처를 통해 구현할 수 있음을 보장하기 위해 일반화 근사 정리(universal approximation theorem)를 활용한다.
• 실데이터에 대한 추론을 위해 가장 가능성이 높은 GMM 성분을 예측함으로써, 잠재 공간에서 비지도 클러스터링을 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 잠재 공간을 가우시안 혼합 모델로 모델링하는 것이 다중 모달 데이터에 대한 GAN의 훈련 안정성과 모드 커버리지 향상에 기여하는가?
• RQ2 제안된 클러스터링 네트워크가 데이터의 기저 매니폴드에 기반해 실데이터의 정확한 비지도 클러스터링을 가능하게 하는가?
• RQ3 각 클러스터별 실데이터와 생성 샘플 간의 쌍화 전략이 판별자 성능과 수렴에 어떤 영향을 미치는가?
• RQ4 MMGAN가 생성 품질과 클러스터링 성능 모두에서 기존 최고 수준의 모델을 얼마나 뛰어나게 성능을 내는가?

주요 결과

• MNIST에서 MMGAN는 클러스터링 NMI 0.91±0.03, ARI 0.90±0.05, ACC 0.94±0.04를 기록하며, 쌍화 없이 훈련한 베이스라인을 능가했다.
• Fashion-MNIST에서 MMGAN는 NMI 0.65±0.01, ARI 0.52±0.06, ACC 0.66±0.03를 기록하며, 복잡한 실세계 데이터에 대해 뛰어난 성능을 보였다.
• Coil-20에서 MMGAN는 NMI 0.80±0.01, ARI 0.62±0.02, ACC 0.73±0.03를 기록하며, 소규모 다중 모달 데이터셋에서 강력한 성능을 보였다.
• 쌍화된 MMGAN 설정에서는 랜덤 쌍화 베이스라인 대비 판별자 손실 감소 속도가 더 느리게 나타나, 더 안정적인 학습 역학을 나타냈다.
• 서로 다른 클러스터 초기화를 사용한 모델은 정의된 데이터 클러스터를 성공적으로 재구성한 반면, 겹치는 초기화는 열악한 클러스터링 성능과 열악한 샘플 품질을 유도했다.
• 특히 클러스터링 정확도와 훈련 안정성 측면에서 ClusterGAN과 GM-GAN과 같은 경쟁 모델들에 비해 MMGAN가 뛰어난 성능을 보였다.