[논문 리뷰] Multi-Generator Generative Adversarial Nets

Quan Hoang, Tu Dinh Nguyen외 2명|arXiv (Cornell University)|2017. 08. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 50

한 줄 요약

MGAN은 분류기와 판별기로 혼합된 다수의 생성기를 사용하여 데이터 모드를 커버하고 모드 붕괴를 피하며, 대규모 데이터셋에서 최첨단 Inception 점수를 달성합니다.

ABSTRACT

We propose a new approach to train the Generative Adversarial Nets (GANs) with a mixture of generators to overcome the mode collapsing problem. The main intuition is to employ multiple generators, instead of using a single one as in the original GAN. The idea is simple, yet proven to be extremely effective at covering diverse data modes, easily overcoming the mode collapse and delivering state-of-the-art results. A minimax formulation is able to establish among a classifier, a discriminator, and a set of generators in a similar spirit with GAN. Generators create samples that are intended to come from the same distribution as the training data, whilst the discriminator determines whether samples are true data or generated by generators, and the classifier specifies which generator a sample comes from. The distinguishing feature is that internal samples are created from multiple generators, and then one of them will be randomly selected as final output similar to the mechanism of a probabilistic mixture model. We term our method Mixture GAN (MGAN). We develop theoretical analysis to prove that, at the equilibrium, the Jensen-Shannon divergence (JSD) between the mixture of generators' distributions and the empirical data distribution is minimal, whilst the JSD among generators' distributions is maximal, hence effectively avoiding the mode collapse. By utilizing parameter sharing, our proposed model adds minimal computational cost to the standard GAN, and thus can also efficiently scale to large-scale datasets. We conduct extensive experiments on synthetic 2D data and natural image databases (CIFAR-10, STL-10 and ImageNet) to demonstrate the superior performance of our MGAN in achieving state-of-the-art Inception scores over latest baselines, generating diverse and appealing recognizable objects at different resolutions, and specializing in capturing different types of objects by generators.

연구 동기 및 목표

• GAN에서 모드 붕괴를 극복하려는 동기.
• 다양한 데이터 모드를 커버하기 위한 생성기 혼합 제안.
• 데이터-모델 간 JSD 최소화 및 생성기 간 분기 발산 최대화를 보이는 이론적 분석.
• 대규모 데이터셋에 확장하기 위한 파라미터 공유를 통한 효율적 학습.
• 합성 데이터 및 실제 이미지 데이터셋(CIFAR-10, STL-10, ImageNet)에서의 실험적 평가.

제안 방법

• MGAN을 K개의 생성기, 판별기, 그리고 분류기 간의 미니맥스 게임으로 형식화한다.
• 출력은 혼합 샘플로, u ~ Mult(pi)에서 G_u(z)를 선택한다.
• 목표는 표준 GAN 항과 다양성 항 -beta sum_k pi_k E_{x~P_{G_k}}[log C_k(x)]를 포함한다.
• 비용을 줄이기 위해 생성기 간 및 판별기-분류기 간 파라미터를 공유한다.
• 비포화되지 않는 GAN 학습 및 고정된 혼합 가중치 pi(일반적으로 균등)를 사용한다.
• 생성기 다양성을 최적으로 하고 데이터-모델 간 발산을 최소화하는 C*, D*, G*의 최적 해를 보이는 이론적 결과를 제공한다.

실험 결과

연구 질문

• RQ1 생성기와 분류기의 혼합이 실제로 여러 데이터 모드를 효과적으로 커버하고 모드 붕괴를 회피할 수 있는가?
• RQ2 MGAN 목표를 최적화하면 데이터와 모델 간 Jensen-Shannon Divergence를 최소화하고 생성기 간 발산을 최대화하는가?
• RQ3 파라미터 공유가 대규모 데이터셋에서도 다중 생성기 MGAN의 비용을 과도하게 증가시키지 않고 확장 가능하게 만드는가?
• RQ4 MGAN이 CIFAR-10, STL-10, ImageNet에서 단일 생성기 GAN 및 다른 다중 생성기 방식과 비교하여 양적 지표(Inception 점수)에서 우수한가?

주요 결과

모델	CIFAR-10	STL-10	ImageNet
실 데이터	11.24 ± 0.16	26.08 ± 0.26	25.78 ± 0.47
WGAN (Arjovsky et al., 2017)	3.82 ± 0.06	–	–
MIX+WGAN (Arora et al., 2017)	4.04 ± 0.07	–	–
Improved-GAN (Salimans et al., 2016)	4.36 ± 0.04	–	–
ALI (Dumoulin et al., 2016)	5.34 ± 0.05	–	–
BEGAN (Berthelot et al., 2017)	5.62	–	–
MAGAN (Wang et al., 2017)	5.67	–	–
GMAN (Durugkar et al., 2016)	6.00 ± 0.19	–	–
DCGAN (Radford et al., 2015)	6.40 ± 0.05	7.54	7.89
DFM (Warde-Farley & Bengio, 2016)	7.72 ± 0.13	8.51 ± 0.13	9.18 ± 0.13
D2GAN (Nguyen et al., 2017)	7.15 ± 0.07	7.98	8.25
MGAN	8.33 ± 0.10	9.22 ± 0.11	9.32 ± 0.10

• MGAN은 무감독 학습에서 CIFAR-10(8.33 ± 0.10), STL-10(9.22 ± 0.11), ImageNet(9.32 ± 0.10)에서 최첨단 Inception 점수를 달성한다.
• 각 생성기가 서로 다른 데이터 모드를 생성하도록 전문화되어 다양한 객체 유형을 효과적으로 커버한다.
• 이론적 결과는 데이터-혼합 모델 간의 균형이 JSD를 최소화하고 생성기 간 JSD를 최대화한다는 것을 보여준다.
• 생성기 간 및 판별기-분류기 간 파라미터 공유가 비용 증가를 최소화한 채 효율성과 확장성을 제공한다.
• MGAN은 합성 데이터에서 더 빠르고 안정적인 수렴을 보이고 대규모 자연 이미지 데이터셋에서도 강력한 정성적/정량적 결과로 확장된다.