[論文レビュー] Demystifying MMD GANs

Mikołaj Bińkowski, Danica J. Sutherland+2 more|arXiv (Cornell University)|Jan 4, 2018

Model Reduction and Neural Networks参考文献 61被引用数 99

ひとこと要約

本論文はMMD-GANを分析し、固定表現を用いた場合にはジェネレータの勾配が無偏である一方、 criticを学習すると勾配が有偏になることを示し、WGAN-GPに対する実用上の利点を実証する。

ABSTRACT

We investigate the training and performance of generative adversarial networks using the Maximum Mean Discrepancy (MMD) as critic, termed MMD GANs. As our main theoretical contribution, we clarify the situation with bias in GAN loss functions raised by recent work: we show that gradient estimators used in the optimization process for both MMD GANs and Wasserstein GANs are unbiased, but learning a discriminator based on samples leads to biased gradients for the generator parameters. We also discuss the issue of kernel choice for the MMD critic, and characterize the kernel corresponding to the energy distance used for the Cramer GAN critic. Being an integral probability metric, the MMD benefits from training strategies recently developed for Wasserstein GANs. In experiments, the MMD GAN is able to employ a smaller critic network than the Wasserstein GAN, resulting in a simpler and faster-training algorithm with matching performance. We also propose an improved measure of GAN convergence, the Kernel Inception Distance, and show how to use it to dynamically adapt learning rates during GAN training.

研究の動機と目的

• MMD-GANにおける勾配の bias を明らかにし、Wasserstein GANと比較する。
• カーネルの選択とそれがMMD criticに与える影響を調査する。
• エネルギー距離とCramér GANをMMDに関連づけ、勾配の考慮を含めて検討する。
• Kernel Inception Distance (KID) のような実用的な評価指標を提案する。
• 小規模な批評者ネットワークと高速訓練を伴うMMD-GANの訓練利点を実証する。

提案手法

• RKHSの単位球を証人クラスとするIPMとしてMMDを定式化する。
• WGAN-GPに類似した勾配ペナルティを用いてMMD criticを正則化する。
• カーネル構成を通じてエネルギー距離とCramér GANをMMDに結びつける。
• KIDとして無偏なGAN収束指標を開発する。
• 標準データセットでMMD-GANをWGAN-GPおよびCramér GANと経験的に比較する。

実験結果

リサーチクエスチョン

• RQ1 critic が固定の場合と学習の場合で、MMD-GANの勾配推定量はジェネレータに無偏な勾配を生み出すか？
• RQ2 カーネルの選択がMMD criticの性能と訓練の安定性にどう影響するか？
• RQ3 エネルギー距離/ Cramér GANの知見はMMD-GANおよび関連IPMを改善できるか？
• RQ4 Kernel Inception Distance(KID)はGANの信頼できる無偏な収束指標か？
• RQ5 MMD-GANはWGAN-GPより小さなcriticと faster trainingで同等の性能を達成できるか？

主な発見

• 自然なMMD推定量は、固定深層表現の上で用いられると無偏勾配を持つ。
• criticを学習すると、ジェネレータの勾配は無限標本最適解に対して有偏になる。
• MMD-GANは小さなcriticネットワークとより速い訓練でWGAN-GPと同等の性能を達成できる。
• エネルギー距離の接続は勾配ペナルティを持つ正則化されたcriticフレームワークを提供する。
• Kernel Inception Distance (KID) は無偏な収束指標として提案され、学習率適応を支援する。
• 標準ベンチマークでの実験は、ネットワークサイズと訓練効率の点で、WGAN-GPに対するMMD-GANの実用的利点を示している。