[논문 리뷰] Dual Discriminator Generative Adversarial Nets

Tu Dinh Nguyen, Trung Le외 2명|arXiv (Cornell University)|2017. 09. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 122

한 줄 요약

D2GAN은 KL 및 역 KL 발산을 공동으로 최소화하도록 두 개의 판별기를 GAN 프레임워크에 도입하여 모드 붕괴를 완화하고 ImageNet과 같은 대규모 데이터셋에서 확장 가능한 생성을 가능하게 한다.

ABSTRACT

We propose in this paper a novel approach to tackle the problem of mode collapse encountered in generative adversarial network (GAN). Our idea is intuitive but proven to be very effective, especially in addressing some key limitations of GAN. In essence, it combines the Kullback-Leibler (KL) and reverse KL divergences into a unified objective function, thus it exploits the complementary statistical properties from these divergences to effectively diversify the estimated density in capturing multi-modes. We term our method dual discriminator generative adversarial nets (D2GAN) which, unlike GAN, has two discriminators; and together with a generator, it also has the analogy of a minimax game, wherein a discriminator rewards high scores for samples from data distribution whilst another discriminator, conversely, favoring data from the generator, and the generator produces data to fool both two discriminators. We develop theoretical analysis to show that, given the maximal discriminators, optimizing the generator of D2GAN reduces to minimizing both KL and reverse KL divergences between data distribution and the distribution induced from the data generated by the generator, hence effectively avoiding the mode collapsing problem. We conduct extensive experiments on synthetic and real-world large-scale datasets (MNIST, CIFAR-10, STL-10, ImageNet), where we have made our best effort to compare our D2GAN with the latest state-of-the-art GAN's variants in comprehensive qualitative and quantitative evaluations. The experimental results demonstrate the competitive and superior performance of our approach in generating good quality and diverse samples over baselines, and the capability of our method to scale up to ImageNet database.

연구 동기 및 목표

• GAN에서 보완적 KL 발산 특성을 활용하여 모드 붕괴를 동기부여하고 해결한다.
• 생성된 데이터를 다양화하기 위해 두 개의 판별기 + 하나의 생성기라는 3인 플레이어 GAN 프레임워크를 제안한다.
• KL과 역 KL 발산을 모두 최소화하는 수렴을 보이는 이론적 분석을 제공한다.
• ImageNet를 포함한 대규모 데이터셋에 대해 경쟁력 있는 품질과 다양성으로 확장 가능함을 입증한다.

제안 방법

• 서로 다른 목적을 가진 두 개의 판별기 D1, D2와 생성기 G를 포함한 3인 플레이어 미니맥스 게임을 도입한다.
• 판별기 출력은 양의 실수이며, 최적화 목표에는 KL 및 역 KL 효과의 균형을 맞추기 위한 하이퍼파라미터 알파(α)와 베타(β)가 포함된다.
• 주어진 G에 대해 최적의 판별기를 도출하여 D1*와 D2*가 p_data와 p_G에 의존함을 보인다.
• 내 출값 균형에서 내쉬 균형일 때 생성기가 KL과 역 KL 발산 모두를 최소화하여 p_G = p_data를 달성함을 보인다.
• 알파, 베타 및 GAN과 유사한 교대 업데이트를 통한 학습 절차로 안정화를 제시한다.
• 표준 아키텍처를 사용한 합성 데이터 및 대규모 데이터셋(MNIST, CIFAR-10, STL-10, ImageNet)에서의 실험적 평가.

실험 결과

연구 질문

• RQ1 이중 판별기 GAN이 대규모 데이터셋에 대해 확장성을 유지하면서 모드 붕괴를 방지할 수 있는가?
• RQ2 KL 및 역 KL 발산을 함께 최적화하는 것이 생성 샘플의 다양성과 품질에 어떤 영향을 미치는가?
• RQ3 D2GAN에서 생성기가 데이터 분포를 회복하는 이론적 조건은 무엇인가?
• RQ4 다양한 벤치마크와 지표에서 D2GAN이 최첨단 GAN 변형들과 어떻게 비교되는가?
• RQ5 D2GAN은 ImageNet에서도 확장 가능하고 다양한 고품질 이미지를 생성할 수 있는가?

주요 결과

• 고정된 G 하에서의 최적의 판별기는 D1* = α p_data / p_G 및 D2* = β p_G / p_data임이 도출된다.
• 최적 판별기를 갖춘 내쉬 균형에서 J(G*,D1*,D2*)는 α(log α−1) + β(log β−1)이며 p_G = p_data일 때 성립한다.
• 생성자 목표는 α KL 및 β 역 KL 발산을 포함하여 모드 커버리지와 모드 품질 간의 균형을 가능하게 한다.
• MNIST, CIFAR-10, STL-10 및 ImageNet에서 다양성 향상 및 경쟁력 있는 품질이 관찰되었으며, ImageNet까지 확장이 가능하다는 점이 입증되었다.
• 합성 2D 다모드 데이터에서 D2GAN은 GAN 및 UnrolledGAN보다 더 나은 모드 커버리지와 대칭 KL 및 Wasserstein 거리 감소를 보인다.
• 표 1은 모드 커버리지와 KL 발산을 보고하며 D2GAN은 모델||데이터 KL 발산이 0.08 ± 0.01로 1000개의 모드를 커버하여 베이스라인보다 우수함을 보여준다.
• 표 2는 CIFAR-10의 Inception 점수를 보여주며 D2GAN은 7.15 ± 0.07로 비지도 학습 베이스라인 중에서도 경쟁력 있게 랭크된다.