[논문 리뷰] Dropout-GAN: Learning from a Dynamic Ensemble of Discriminators

Gonçalo Mordido, Haojin Yang외 1명|arXiv (Cornell University)|2018. 07. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 48

한 줄 요약

Dropout-GAN은 판별기 피드백을 드롭아웃시켜 다이나믹하게 변화하는 판별기 어셈블리에 대해 단일 제너레이터를 학습시켜 샘플 다양성을 향상시키고 여러 데이터셋에서 모드 붕괴를 완화한다.

ABSTRACT

We propose to incorporate adversarial dropout in generative multi-adversarial networks, by omitting or dropping out, the feedback of each discriminator in the framework with some probability at the end of each batch. Our approach forces the single generator not to constrain its output to satisfy a single discriminator, but, instead, to satisfy a dynamic ensemble of discriminators. We show that this leads to a more generalized generator, promoting variety in the generated samples and avoiding the common mode collapse problem commonly experienced with generative adversarial networks (GANs). We further provide evidence that the proposed framework, named Dropout-GAN, promotes sample diversity both within and across epochs, eliminating mode collapse and stabilizing training.

연구 동기 및 목표

• 여러 판별기를 활용하여 GAN에서 모드 붕괴를 동기부여하고 해결한다.
• 배치마다 바뀌는 다이나믹한 어셈블리를 만들기 위해 적대적 드롭아웃을 도입한다.
• 다양한 피드백이 보다 다양한 생성 샘플과 향상된 안정성으로 이어진다는 것을 보여준다.
• 여러 GAN 변형 및 데이터셋 전반에 걸친 적대적 드롭아웃의 확장성을 보여준다.

제안 방법

• GAN 프레임워크를 단일 제너레이터에 피드백을 주는 K개의 판별기로 확장한다.
• 각 판별기의 피드백에 확률 d로 드롭아웃을 적용하여 제너레이터 업데이트가 임의의 일부 판별기만 사용하도록 한다.
• 모든 판별기가 드롭되면 학습 신호를 보존하기 위해 무작위로 선택된 단일 판별기를 사용하여 제너레이터를 업데이트한다.
• 각 판별기는 고유의 그래디언트 업데이트로 독립적으로 학습되도록 유지한다.
• MNIST, CIFAR-10, CelebA 전반에 걸쳐 FID, Inception Score, 그리고 정성적 분석으로 K와 d를 다양하게 변화시키며 평가한다.

실험 결과

연구 질문

• RQ1 동적 판별기 어셈블리에 대한 적대적 드롭아웃이 GAN에서 모드 붕괴를 감소시키는가?
• RQ2 판별기의 수(K)와 드롭아웃 비율(d)이 학습 안정성과 샘플 다양성에 어떤 영향을 미치는가?
• RQ3 다양한 크기의 데이터셋에 대해 Dropout-GAN이 기존 GAN 변형(예: LSGAN, DRAGAN, modGAN)에 대한 일반적 보강으로 도움이 되는가?

주요 결과

• 적대적 드롭아웃은 MNIST, CIFAR-10, CelebA 전반에서 샘플 다양성을 향상시키고 모드 붕괴를 감소시킨다.
• 중간 범위의 드롭아웃 비율(d ≈ 0.2–0.5)이 더 큰 판별기 어셈블리와 함께 여러 데이터셋에서 최상의 Fréchet Inception Distance (FID)를 얻는다.
• 다수의 판별기를 사용하는 것이 고정된 단일 판별기에 비해 일반적으로 FID 및 안정성 면에서 우수하다.
• Dropout-GAN은 보고된 지표에 따라 여러 데이터셋에서 몇 가지 GAN 변형(LSGAN, DRAGAN, modGAN)을 개선한다.
• 두 개의 판별기로 적대적 드롭아웃을 사용할 때 CIFAR-10, STL-10, 및 ImageNet에서 Inception Score가 더 높게 나타난다.