[论文解读] MR-GAN: Manifold Regularized Generative Adversarial Networks

Qunwei Li, Bhavya Kailkhura+4 more|arXiv (Cornell University)|Nov 22, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 6

一句话总结

本文提出MR-GAN，一种流形正则化的生成对抗网络，通过整合真实数据流形的几何结构来改善GAN训练。通过在生成器损失中添加流形正则项，该方法增强了训练稳定性，防止模式崩溃，并提升了DCGAN和WGAN等各类GAN架构的泛化能力与均衡性存在性，其在合成8模式数据集上的几何得分提升高达51.4%，在MNIST数据集上提升10.14%。

ABSTRACT

Despite the growing interest in generative adversarial networks (GANs), training GANs remains a challenging problem, both from a theoretical and a practical standpoint. To address this challenge, in this paper, we propose a novel way to exploit the unique geometry of the real data, especially the manifold information. More specifically, we design a method to regularize GAN training by adding an additional regularization term referred to as manifold regularizer. The manifold regularizer forces the generator to respect the unique geometry of the real data manifold and generate high quality data. Furthermore, we theoretically prove that the addition of this regularization term in any class of GANs including DCGAN and Wasserstein GAN leads to improved performance in terms of generalization, existence of equilibrium, and stability. Preliminary experiments show that the proposed manifold regularization helps in avoiding mode collapse and leads to stable training.

研究动机与目标

• 为解决GAN训练中持续存在的挑战，包括模式崩溃、缺乏均衡性以及不稳定性。
• 利用真实数据流形的内在几何结构，以改善生成器的泛化能力和训练稳定性。
• 开发一种理论基础坚实的正则化方法，适用于多种GAN架构，包括DCGAN和WGAN。
• 通过实证结果证明，流形正则化可提升生成样本质量并减少模式崩溃。
• 提供理论保证，证明流形正则化可改善泛化能力、均衡性存在性以及训练稳定性。

提出的方法

• 提出一种流形正则项，强制生成器在训练过程中尊重真实数据流形的几何结构。
• 使用基于核的嵌入函数ψ，将真实数据映射到保持流形几何特性的潜在空间。
• 将流形正则项作为惩罚项，以生成样本与真实数据流形之间距离的函数，整合到生成器损失函数中。
• 通过修改生成器目标函数，将正则化方法应用于任何GAN框架，包括DCGAN和WGAN。
• 使用深度神经网络近似流形正则项，以最小化偏差，确保良好的泛化性能。
• 使用核尺度参数ρ和正则化强度λ来控制流形项的影响。

实验结果

研究问题

• RQ1 将真实数据流形的几何结构融入是否能提升GAN训练的稳定性和泛化能力？
• RQ2 流形正则化是否能提升GAN训练中均衡性存在性和收敛性？
• RQ3 所提出的方法是否能在DCGAN和WGAN等不同GAN架构中有效防止模式崩溃？
• RQ4 与应用于判别器的现有正则化技术相比，流形正则化有何差异？
• RQ5 流形正则化对GAN泛化能力和稳定性的理论影响是什么？

主要发现

• 在合成8模式数据集上，MR-GAN相较于标准GAN将几何得分（GS）从0.909降低至0.442，提升幅度达51.4%。
• 在MNIST数据集上，MR-WGAN相较于WGAN（GS=0.414）将几何得分提升至0.372（提升10.14%），其中λ=0.01，ρ=10。
• 在CelebA数据集上，MR-DCGAN将几何得分从基线值10.77降低至6.33（λ=0.1，ρ=0.5），改善幅度约40%。
• 所提方法成功避免了模式崩溃，合成实验中所有8个模式的生成样本分布均匀。
• 理论分析证实，流形正则化可改善任意GAN类别中的泛化能力、均衡性存在性及训练稳定性。
• 流形正则项实现简单且在多种GAN架构（包括DCGAN和WGAN）中均表现高效。