[논문 리뷰] Demystifying MMD GANs

Mikołaj Bińkowski, Danica J. Sutherland외 2명|arXiv (Cornell University)|2018. 01. 04.

Model Reduction and Neural Networks참고 문헌 61인용 수 99

한 줄 요약

본 논문은 MMD GAN을 분석하여 고정된 표현에서 편향되지 않은 생성기 기울을 보이고, 비판기가 학습될 때는 기울이 편향되며, WGAN-GP에 비해 실용적인 이점을 시연한다.

ABSTRACT

We investigate the training and performance of generative adversarial networks using the Maximum Mean Discrepancy (MMD) as critic, termed MMD GANs. As our main theoretical contribution, we clarify the situation with bias in GAN loss functions raised by recent work: we show that gradient estimators used in the optimization process for both MMD GANs and Wasserstein GANs are unbiased, but learning a discriminator based on samples leads to biased gradients for the generator parameters. We also discuss the issue of kernel choice for the MMD critic, and characterize the kernel corresponding to the energy distance used for the Cramer GAN critic. Being an integral probability metric, the MMD benefits from training strategies recently developed for Wasserstein GANs. In experiments, the MMD GAN is able to employ a smaller critic network than the Wasserstein GAN, resulting in a simpler and faster-training algorithm with matching performance. We also propose an improved measure of GAN convergence, the Kernel Inception Distance, and show how to use it to dynamically adapt learning rates during GAN training.

연구 동기 및 목표

• MMD GAN에서의 기울 편향을 명확히 하고 Wasserstein GAN과 비교한다.
• MMD 크리틱에 대한 커널 선택과 그 영향력을 조사한다.
• 에너지 거리와 Cramér GAN을 MMD에 연결하고, 기울 고려를 포함한다.
• Kernel Inception Distance (KID)와 같은 실용적인 평가 지표를 제안한다.
• 더 작은 크리틱과 더 빠른 학습으로 MMD GAN의 훈련 이점을 입증한다.

제안 방법

• MMD를 RKHS의 단위 구(ball) 공간을 witness class로 하는 IPM으로 공식화한다.
• WGAN-GP와 유사한 그래디언트 패널티를 통해 MMD 크리틱을 정규화한다.
• 커널 구성(kernel constructions)을 통해 에너지 거리와 Cramér GAN을 MMD에 연결한다.
• Kernel Inception Distance (KID)를 편향되지 않은 GAN 수렴 지표로 개발한다.
• 표준 데이터셋에서 MMD GAN을 WGAN-GP 및 Cramér GAN과 경험적으로 비교한다.

실험 결과

연구 질문

• RQ1 비판기가 고정된 경우와 학습되는 경우에 대해 MMD GAN의 기울 추정기가 편향되지 않은 생성기 기울을 생성하는가?
• RQ2 커널 선택이 MMD 크리틱의 성능과 학습 안정성에 어떤 영향을 미치는가?
• RQ3 에너지 거리/크래머 GAN의 통찰이 MMD GAN 및 관련 IPMs를 개선할 수 있는가?
• RQ4 Kernel Inception Distance(KID)가 GAN의 신뢰할 수 있고 편향되지 않은 수렴 지표인가?
• RQ5 MMD GAN이 WGAN-GP보다 더 작은 크리틱과 더 빠른 학습으로도 비슷한 성능을 달성하는가?

주요 결과

• 자연스러운 MMD 추정기는 고정된 심층 표현 위에서 사용될 때 편향되지 않은 기울을 가진다.
• 크리틱을 학습시키면 무한 샘플 최적값에 비해 생성기 기울이 편향된다.
• MMD GAN은 더 작은 크리틱 네트워크와 더 빠른 학습으로 WGAN-GP 성능에 맞출 수 있다.
• 에너지 거리 연계는 그래디언트 패널라이즈드, 정규화된 크리틱 프레임워크를 제공한다.
• Kernel Inception Distance (KID)가 편향되지 않은 수렴 지표로 제안되며 학습률 적응을 돕는다.
• 표준 벤치마크 실험은 네트워크 크기와 학습 효율성 측면에서 MMD GAN의 WGAN-GP에 대한 실용적 이점을 보여준다.