[论文解读] MMGAN: Manifold Matching Generative Adversarial Network

Noseong Park, Ankesh Anand+6 more|arXiv (Cornell University)|Jul 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 4

一句话总结

该论文提出MMGAN，一种新型的GAN框架，通过在核嵌入空间中匹配真实与生成图像特征的流形，提升了训练稳定性和样本质量。通过使用移动平均的球形流形和基于相关性的正则化项，MMGAN减少了模式崩溃，并在CIFAR-10上实现了7.8的SOTA inception得分，用户研究中32.4%的生成图像被误判为假，较之前模型提升了16%。

ABSTRACT

It is well-known that GANs are difficult to train, and several different techniques have been proposed in order to stabilize their training. In this paper, we propose a novel training method called manifold-matching, and a new GAN model called manifold-matching GAN (MMGAN). MMGAN finds two manifolds representing the vector representations of real and fake images. If these two manifolds match, it means that real and fake images are statistically identical. To assist the manifold-matching task, we also use i) kernel tricks to find better manifold structures, ii) moving-averaged manifolds across mini-batches, and iii) a regularizer based on correlation matrix to suppress mode collapse. We conduct in-depth experiments with three image datasets and compare with several state-of-the-art GAN models. 32.4% of images generated by the proposed MMGAN are recognized as fake images during our user study (16% enhancement compared to other state-of-the-art model). MMGAN achieved an unsupervised inception score of 7.8 for CIFAR-10.

研究动机与目标

• 通过引入基于流形匹配的新训练目标，解决GAN训练中的不稳定性和模式崩溃问题。
• 通过确保生成特征的流形在高维核空间中与真实数据的流形紧密匹配，提升生成图像的质量和多样性。
• 通过在小批量样本中使用移动平均流形来稳定训练，避免局部优化陷阱。
• 通过基于生成特征相关矩阵的新型正则化项抑制模式崩溃。
• 在标准基准数据集（MNIST、CelebA、CIFAR-10）上，相比SOTA GAN如DCGAN和IGAN，展示出更优越的性能。

提出的方法

• 提出一种流形匹配损失函数，对齐从判别器最后一层提取的真实与生成图像特征表示的球形流形。
• 使用核技巧（RBF和指数核）将特征隐式映射到高维空间，以更可靠地捕捉流形结构。
• 在小批量样本中应用指数加权移动平均，以估计真实与生成数据流形的稳定中心点和半径。
• 引入基于相关性的正则化项，惩罚生成特征之间的高相关性，从而促进多样性并防止模式崩溃。
• 将流形匹配损失集成到DCGAN和IGAN架构中，替换其原始损失函数，同时保留网络结构。
• 训练生成器以最小化估计的真实与虚假特征流形之间的距离，使用核化流形匹配目标。

实验结果

研究问题

• RQ1 在核嵌入空间中匹配真实与生成图像特征的流形，是否能提升GAN训练的稳定性和样本质量？
• RQ2 在小批量样本中使用移动平均流形，是否能比局部小批量匹配提供更鲁棒和一致的流形估计？
• RQ3 基于相关性的正则化项是否能通过鼓励生成样本的多样性，有效抑制GAN中的模式崩溃？
• RQ4 与标准GAN目标相比，所提出的流形匹配损失在inception得分和标准数据集上的人工评估中表现如何？
• RQ5 流形匹配在多样的数据集（如MNIST、CelebA和CIFAR-10）上，对图像生成的泛化能力和真实感提升程度如何？

主要发现

• MMGAN在CIFAR-10上实现了7.8的无监督inception得分，优于DCGAN（6.8）和IGAN（6.86），展现出SOTA性能。
• 在用户研究中，MMGAN生成的32.4%图像被判定为假，相比次优模型（DCGAN为38.2%）在真实感感知上提升了16%。
• 所提出的基于相关性的正则化项显著提升了多样性：若不使用该正则化项，MMGAN性能甚至劣于DCGAN，表明其在防止模式崩溃中的关键作用。
• 在MNIST上，MMGAN将假图像检测率降低至32.4%，而DCGAN为38.2%，尽管真实图像的基线为14%，仍显示出更高的视觉真实感。
• 在CelebA上，尽管DCGAN和MMGAN均常被识别为假，但MMGAN在用户感知中表现出微弱但一致的改进。
• 使用核技巧（RBF和指数核）使流形估计更可靠，其中RBF核在大多数设置下表现优于指数核。