[论文解读] Generative Adversarial Mapping Networks

Jianbo Guo, Guangxiang Zhu+1 more|arXiv (Cornell University)|Sep 28, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 3

一句话总结

本文提出生成对抗映射网络（GAMN），一种新型的基于生成对抗网络（GAN）的生成模型，通过引入对抗性映射网络F，改进了特征空间中的分布匹配能力。通过联合训练生成器G和映射网络F以最小化表示空间中的最大均值差异（MMD），GAMN在CIFAR-10和LSUN-Bedrooms数据集上实现了优于GMMN和GMMN+AE的样本质量，同时降低了对批量大小的要求并提升了训练稳定性。

ABSTRACT

Generative Adversarial Networks (GANs) have shown impressive performance in generating photo-realistic images. They fit generative models by minimizing certain distance measure between the real image distribution and the generated data distribution. Several distance measures have been used, such as Jensen-Shannon divergence, $f$-divergence, and Wasserstein distance, and choosing an appropriate distance measure is very important for training the generative network. In this paper, we choose to use the maximum mean discrepancy (MMD) as the distance metric, which has several nice theoretical guarantees. In fact, generative moment matching network (GMMN) (Li, Swersky, and Zemel 2015) is such a generative model which contains only one generator network $G$ trained by directly minimizing MMD between the real and generated distributions. However, it fails to generate meaningful samples on challenging benchmark datasets, such as CIFAR-10 and LSUN. To improve on GMMN, we propose to add an extra network $F$, called mapper. $F$ maps both real data distribution and generated data distribution from the original data space to a feature representation space $\mathcal{R}$, and it is trained to maximize MMD between the two mapped distributions in $\mathcal{R}$, while the generator $G$ tries to minimize the MMD. We call the new model generative adversarial mapping networks (GAMNs). We demonstrate that the adversarial mapper $F$ can help $G$ to better capture the underlying data distribution. We also show that GAMN significantly outperforms GMMN, and is also superior to or comparable with other state-of-the-art GAN based methods on MNIST, CIFAR-10 and LSUN-Bedrooms datasets.

研究动机与目标

• 解决生成矩匹配网络（GMMN）在CIFAR-10和LSUN-Bedrooms等复杂数据集上生成真实感样本时的失败问题。
• 通过引入一种动态的、对抗性训练的映射网络，克服GMMN和GMMN+AE对高批量大小的需求以及样本质量差的问题。
• 将最大均值差异（MMD）的理论优势与GAN的对抗训练范式相结合，实现更稳定、更有效的分布学习。
• 开发一种比现有基于MMD的模型更简单但更强大的替代方案，避免使用固定自编码器或复杂正则化。
• 证明端到端联合训练的映射网络可显著提升生成器在生成高保真图像方面的性能。

提出的方法

• 提出一种新型生成模型GAMN，由生成器G和映射网络F组成，二者以对抗方式联合训练。
• 利用映射网络F将真实数据和生成样本从原始数据空间映射到低维特征表示空间R。
• 训练生成器G以最小化特征空间R中真实数据与生成数据分布之间的最大均值差异（MMD）。
• 训练映射网络F以最大化特征空间R中真实分布与生成分布之间的MMD，使其成为生成器的动态对手。
• 使用基于核函数的MMD估计器计算映射后分布之间的距离，实现高效且无偏的优化。
• 使用标准反向传播端到端训练生成器和映射网络，避免了GMMN+AE中所需的预训练或固定编码器。

实验结果

研究问题

• RQ1 对抗性训练的映射网络是否能提升生成器在矩匹配框架中的分布匹配能力？
• RQ2 与GMMN+AE中使用的固定自编码器相比，将动态映射网络与生成器联合训练是否能带来更优的样本质量？
• RQ3 GAMN是否能在CIFAR-10和LSUN-Bedrooms等挑战性基准上实现SOTA性能，同时降低对批量大小的需求？
• RQ4 在FID分数和样本保真度方面，GAMN相较于其他基于MMD和GAN的模型表现如何？
• RQ5 所提出的框架是否比现有基于MMD的生成模型更具稳定性与可扩展性，尤其是在高维数据设置下？

主要发现

• GAMN在CIFAR-10和LSUN-Bedrooms上生成的真实感图像显著优于GMMN和GMMN+AE，样本在视觉质量上更优。
• 在CIFAR-10数据集上，GAMN的FID分数达到6.44，略高于近期提出的对抗核学习方法报告的6.24。
• 在特征空间中，MMD值在训练过程中持续下降，且与FID分数的提升和样本质量的改善呈正相关。
• 与GMMN和GMMN+AE相比，GAMN显著降低了训练所需的批量大小，后者需使用高达1000的批量大小。
• 在混合8个高斯分布和瑞士卷等玩具数据集上，GAMN比WGAN和改进版WGAN更准确地学习到数据的真实分布。
• 对抗性映射网络F增强了生成器捕捉复杂数据结构的能力，从而在无需额外正则化或固定编码器的情况下，生成更具多样性与真实感的样本。