[논문 리뷰] Do GANs actually learn the distribution? An empirical study

Sanjeev Arora, Yi Zhang|arXiv (Cornell University)|2017. 06. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 130

한 줄 요약

논문은 생일 역설(birthday paradox) 기반의 테스트를 통해 GAN 생성 분포의 지지 집합 크기를 추정하고, 여러 잘 알려진 GAN들이 지지가 작고 대상 분포를 학습하지 못할 수 있음을 시사하는 분포를 생성한다는 것을 보여준다. 또한 판별기 용량이 다양성에 미치는 영향과 GAN 변형들을 비교한다.

ABSTRACT

Do GANS (Generative Adversarial Nets) actually learn the target distribution? The foundational paper of (Goodfellow et al 2014) suggested they do, if they were given sufficiently large deep nets, sample size, and computation time. A recent theoretical analysis in Arora et al (to appear at ICML 2017) raised doubts whether the same holds when discriminator has finite size. It showed that the training objective can approach its optimum value even if the generated distribution has very low support ---in other words, the training objective is unable to prevent mode collapse. The current note reports experiments suggesting that such problems are not merely theoretical. It presents empirical evidence that well-known GANs approaches do learn distributions of fairly low support, and thus presumably are not learning the target distribution. The main technical contribution is a new proposed test, based upon the famous birthday paradox, for estimating the support size of the generated distribution.

연구 동기 및 목표

• 실용적인 제약하에서 GAN이 타깃 분포를 학습하는지에 대한 질문을 제시한다.
• 생일 역설에 기반한 분포 지지 크기에 대한 정량적 테스트를 제안한다.
• CelebA와 CIFAR-10에서 여러 GAN 아키텍처를 경험적으로 평가하여 다양성과 모드 붕괴를 평가한다.
• 판별기 크기가 학습된 분포의 다양성에 어떤 영향을 미치는지 탐구한다.

제안 방법

• 지지 크기를 추정하기 위한 생일 역설 기반 테스트를 정의한다.
• 샘플 배치를 생성하고 거의 중복된 쌍을 잠재 충돌로 식별한다.
• 후보 중복을 시각적으로 검사하여 중복의 존재를 추론하고 지지 크기를 추정한다.
• DCGAN, MIX+DCGAN, ALI/ BiGAN, Stacked GAN 등 다양한 GAN 변형을 사용하여 CelebA와 CIFAR-10에 대해 테스트를 적용한다.
• 실험에서 판별기 용량이 관찰된 다양성에 미치는 영향을 조사한다.
• VAEs와 LSUN-bedroom 데이터에의 적용 가능성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 실용적인 샘플 크기에서 GAN이 대상 분포에 근접하는 큰 지지 집합의 분포를 생성하는가?
• RQ2 학습된 분포의 다양성(지지 크기)은 판별기 크기에 의해 어떻게 달라지는가?
• RQ3 양방향 GAN 변형(ALI/BiGAN)이 표준 GAN보다 더 큰 다양성을 달성하는가?
• RQ4 생일 역설 기반 테스트가 실제 데이터 세트로 학습된 GAN에서 모드 붕괴나 제한된 다양성을 드러낼 수 있는가?
• RQ5 연속적이고 차원이 높은 이미지 데이터에 적용할 때 생일 역설 테스트의 한계는 무엇인가?

주요 결과

• CelebA에서 일반적으로 사용되는 아키텍처의 GAN은 배치당 ~400샘플에서 중복이 나타날 확률이 ≥50%이며, 지지 크기가 약 160,000 이하거나 그 이하임을 시사한다.
• ALI/BiGAN은 더 큰 다양성을 보이며, 충돌은 배치 크기가 약 1000에서 나타나 DCGAN/MIX+DCGAN에 비해 더 크지만 여전히 한계가 있는 지지(약 1백만)를 시사한다.
• 판별기 용량을 증가시키면 관찰된 다양성이 증가하는 경향이 있으며, 지지 크기의 거의 선형 증가가 발견되다가 정체된다.
• CIFAR-10에서 Stacked GAN으로는 각 클래스 내에서 중복이 다양한 배치 크기에서 나타나 데이터 전체 커버리지보다는 클래스별 다양성에 제한이 있음을 시사한다.
• LSUN-bedroom 데이터에서 관찰된 거의 중복은 종종 손상/노이즈 패턴에 해당하며, 이 테스트가 아티팩트에 의해 혼동될 수 있으며 분포가 노이즈에 비전분 포괄적 질량을 두고 있음을 시사한다.