[论文解读] MMGAN: Manifold Matching Generative Adversarial Network for Generating Images.

Noseong Park, Ankesh Anand+6 more|arXiv (Cornell University)|Jul 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 3

一句话总结

该论文提出MMGAN，一种新型的GAN训练方法，通过在判别器最后一层匹配真实图像与生成图像特征的流形，提升了训练稳定性和图像质量。通过利用核技巧增强流形对齐，MMGAN在多个数据集和最先进GAN架构上均表现出优越性能，展现出更稳定的训练过程和更高保真度的图像生成能力。

ABSTRACT

Generative adversarial networks (GANs) are considered as a totally different type of generative models. However, it is well known that GANs are very hard to train. There have been proposed many different techniques in order to stabilize their training procedures. In this paper, we propose a novel training method called manifold matching and a new GAN model called manifold matching GAN (MMGAN). In MMGAN, vector representations extracted from the last layer of the discriminator are used to train the generator. It finds two manifolds representing vector representations of real and fake images. If these two manifolds are matched, it means that real and fake images are identical in the perspective of the discriminator because the manifolds are constructed from the discriminator's last layer. In general, it is much easier to train the discriminator and it becomes more accurate as epoch goes by. This implies that the manifold matching also becomes very accurate as the discriminator is trained. We also use the kernel trick to find better manifolds. We conduct in-depth experiments with three image datasets and several state-of-the-art GAN models. Our experiments demonstrate the efficacy of the proposed MMGAN model.

研究动机与目标

• 为解决GAN训练固有的不稳定性及训练困难问题，此类问题常导致模式崩溃和收敛性差。
• 通过利用判别器学习到的特征表示作为监督信号，改进生成器的训练过程。
• 对齐判别器最后一层中真实图像与虚假图像特征的流形，确保生成图像与真实图像无法区分。
• 通过利用日益准确的判别器，提升训练过程中流形匹配的精度。
• 评估基于核的流形匹配在提升多样化图像数据集上GAN性能方面的有效性。

提出的方法

• 该方法使用判别器最后一层的向量表示作为真实图像和虚假图像的特征嵌入。
• 基于这些嵌入，构建两个流形——一个来自真实图像，另一个来自生成（虚假）图像。
• 通过最小化潜在空间中两个流形之间的距离来实现流形匹配，从而促使生成器生成位于与真实数据相同流形上的样本。
• 应用核技巧将特征空间映射到更高维的再生核希尔伯特空间，以实现更有效的流形对齐。
• 生成器通过一种损失函数进行训练，该损失函数促使虚假图像流形与真实图像流形匹配，利用判别器演化后的特征空间作为监督信号。
• 训练过程交替更新判别器和生成器，其中生成器由判别器最后一层导出的流形匹配损失引导。

实验结果

研究问题

• RQ1 在判别器最后一层对齐真实与虚假图像特征的流形，是否能提升GAN训练的稳定性和图像质量？
• RQ2 核技巧的使用如何提升GAN中流形匹配的性能？
• RQ3 将判别器学习到的特征空间作为监督信号，是否能带来比标准GAN目标更优的生成器优化？
• RQ4 MMGAN在多种数据集及多种最先进GAN架构下的表现如何？
• RQ5 流形匹配能否减少模式崩溃并提升生成图像的多样性？

主要发现

• 与基线GAN模型相比，MMGAN实现了更稳定的训练动态，降低了模式崩溃的风险。
• 基于核的流形匹配显著提升了真实与虚假图像特征流形之间的对齐程度，从而实现了更高保真度的图像生成。
• 在三个图像数据集上的实验表明，MMGAN在多种评估指标下均持续提升了图像质量。
• 该方法通过利用训练过程中判别器特征表示的逐步优化，显著增强了生成器性能。
• 在视觉质量和定量指标方面，MMGAN均优于多种最先进GAN模型，验证了其有效性。
• 流形匹配损失有效引导生成器生成更难以与真实图像区分的样本，该结论得到定性和定量分析的证实。