[논문 리뷰] Gaussian Mixture Generative Adversarial Networks for Diverse Datasets, and the Unsupervised Clustering of Images

Matan Ben-Yosef, Daphna Weinshall|arXiv (Cornell University)|2018. 08. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 41

한 줄 요약

GM-GANs는 unimodal latent prior를 Gaussian mixtures로 대체하여 다양한 데이터에 더 잘 맞추고 샘플 품질/다양성을 향상시키며 비지도 클러스터링을 가능하게 한다; 또한 조건 생성용 감독 변형과 후훈련 품질-다양성 제어를 지원한다.

ABSTRACT

Generative Adversarial Networks (GANs) have been shown to produce realistically looking synthetic images with remarkable success, yet their performance seems less impressive when the training set is highly diverse. In order to provide a better fit to the target data distribution when the dataset includes many different classes, we propose a variant of the basic GAN model, called Gaussian Mixture GAN (GM-GAN), where the probability distribution over the latent space is a mixture of Gaussians. We also propose a supervised variant which is capable of conditional sample synthesis. In order to evaluate the model's performance, we propose a new scoring method which separately takes into account two (typically conflicting) measures - diversity vs. quality of the generated data. Through a series of empirical experiments, using both synthetic and real-world datasets, we quantitatively show that GM-GANs outperform baselines, both when evaluated using the commonly used Inception Score, and when evaluated using our own alternative scoring method. In addition, we qualitatively demonstrate how the extit{unsupervised} variant of GM-GAN tends to map latent vectors sampled from different Gaussians in the latent space to samples of different classes in the data space. We show how this phenomenon can be exploited for the task of unsupervised clustering, and provide quantitative evaluation showing the superiority of our method for the unsupervised clustering of image datasets. Finally, we demonstrate a feature which further sets our model apart from other GAN models: the option to control the quality-diversity trade-off by altering, post-training, the probability distribution of the latent space. This allows one to sample higher quality and lower diversity samples, or vice versa, according to one's needs.

연구 동기 및 목표

• 다중 클래스, 다중 모드 구조를 가진 매우 다양한 데이터셋에 GAN이 더 잘 대응하도록 동기를 부여한다.
• 잠재 공간 혼합 가우시안으로 데이터 희소성과 다모달성에 맞춘 GM-GAN(Gaussian Mixture GAN)을 제안한다.
• 판별기가 클래스 확률을 출력하도록 하여 감독/조건 생성이 가능하도록 한다.
• Inception Score를 넘어서는 품질-다양성 트레이드오프를 다루는 새로운 평가 점수를 도입한다.
• GM-GAN이 합성 및 실제 데이터셋에서 베이스라인보다 우수함을 실증하고 비지도 clustering을 가능하게 한다.

제안 방법

• 파라미터 {μ_k, Σ_k}와 혼합 가중치 α_k를 가진 K Gaussian의 혼합으로 p_Z를 정의하고 정적(고정) 및 동적(학습되는) GM-GAN 변형을 고려한다.
• z|k ~ N(μ_k, Σ_k)이고 G가 z를 사용해 샘플을 생성하는 GM-GAN을 구현하며, 동적 변형에서 샘플링을 역전파하기 위해 재매개화 트릭을 적용한다.
• 감독 변형 GM-GAN을 제공하는데, 판별기가 N개의 클래스에 대한 벡터를 출력하고 생성기가 가우시안 인덱스를 f: [K] -> [N] 형태의 함수로 클래스 라벨에 매핑한다.
• 두 가지 손실 적응을 설명한다: G와 D의 표준 GAN 손실(방정식 2와 3)과 감독 손실 변형(생성기와 판별기에 대한 것).
• 훈련 알고리즘(Algorithm 1)을 개략적으로 설명하고, 가우시안 성분 초기화, 혼합에서의 샘플링, D와 G를 번갈아 업데이트하는 Adam을 포함한다.

실험 결과

연구 질문

• RQ1 다중 모달 잠재 공간prior(가우시안 혼합)가 표준 단일모드 priors에 비해 다양한 데이터셋에서 GAN 성능을 향상시킬 수 있는가?
• RQ2 GM-GAN이 잠재 가우시안을 데이터-공간의 서로 다른 클래스에 매핑함으로써 효과적인 비지도 클러스터링을 가능하게 하는가?
• RQ3 가우시안의 수 K가 데이터셋 간 샘플 품질과 다양성에 어떤 영향을 미치는가?
• RQ4 감독 GM-GAN이 기존의 조건부 GAN보다 더 나은 클래스 조건부 생성을 제공할 수 있는가?
• RQ5 잠재 공간 공분산의 사후 조정이 품질-다양성 트레이드오프를 제어할 수 있는가?

주요 결과

• GM-GAN은 Inception Score와 제안된 품질-다양성 지표에서 기초 모델보다 우수하다.
• CIFAR-10 및 STL-10에서 비지도 GM-GAN이 GAN 베이스라인보다 높은 Inception Score를 달성; STL-10의 경우 K=30인 GM-GAN이 7.03로 GAN의 6.80보다 높다.
• 감독 설정에서 GM-GAN은 CIFAR-10과 STL-10의 테스트된 K 값들에서 AC-GAN보다 일관되게 개선한다(예: CIFAR-10: AC-GAN 6.23 vs GM-GAN k=10 6.84; STL-10: AC-GAN 7.45 vs GM-GAN k=10 8.32).
• 가우시안 수 K는 데이터셋에 따라 성능을 향상시키거나 악화시킬 수 있다.
• GM-GAN은 toy 실험에서 고전 GAN보다 더 빨리 수렴한다.
• 잠재-가우시안으로 구성된 구조는 데이터-공간 클래스와 가우시안을 연결함으로써 비지도 클러스터링으로의 경로를 제공한다.