[论文解读] MGGAN: Solving Mode Collapse using Manifold Guided Training

Duhyeon Bang, Hyunjung Shim|arXiv (Cornell University)|Apr 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 31

一句话总结

本文提出MGGAN，一种新颖的GAN训练框架，通过引入一个固定且预训练的基于自编码器的引导网络，以强制生成器学习数据分布的所有模式，从而缓解模式崩溃问题。通过利用自编码器潜在表示所导出的流形空间中的对抗性损失，MGGAN在不改变网络架构或损失函数的前提下，实现了高质量图像生成，同时显著提升了样本多样性。

ABSTRACT

Mode collapse is a critical problem in training generative adversarial networks. To alleviate mode collapse, several recent studies introduce new objective functions, network architectures or alternative training schemes. However, their achievement is often the result of sacrificing the image quality. In this paper, we propose a new algorithm, namely a manifold guided generative adversarial network (MGGAN), which leverages a guidance network on existing GAN architecture to induce generator learning all modes of data distribution. Based on extensive evaluations, we show that our algorithm resolves mode collapse without losing image quality. In particular, we demonstrate that our algorithm is easily extendable to various existing GANs. Experimental analysis justifies that the proposed algorithm is an effective and efficient tool for training GANs.

研究动机与目标

• 解决GAN训练中长期存在的模式崩溃挑战，即生成器无法捕捉真实数据分布的所有模式。
• 在不牺牲图像质量的前提下，提升训练稳定性和样本多样性，而现有方法往往需要在两者之间进行权衡。
• 提出一种方法，通过利用固定且预训练的流形映射，使生成器能够学习数据分布中的所有主要和次要模式。
• 引入一种弱双向映射机制，以增强生成器的多样性，同时避免对生成器或判别器施加过度约束。
• 确保与各种现有GAN架构的兼容性和可扩展性，无需修改原始损失函数或训练动态。

提出的方法

• 将引导网络集成到标准GAN架构中，该网络由一个用于将真实图像映射到共享流形空间的预训练编码器组成。
• 使用编码器的潜在表示作为完整数据流形的代理，确保真实分布的所有模式均被保留。
• 在流形空间中训练判别器，以比较真实样本与生成样本在该潜在空间中的分布，采用对抗性损失。
• 在GAN训练过程中固定自编码器编码器，以防止误差传播并保持稳定的流形表示。
• 通过一个额外的全连接网络在流形空间与潜在空间之间实现弱双向映射，支持重建和潜在空间插值。
• 通过仅在主判别器和流形空间判别器中使用对抗性损失，保持标准GAN的训练动态，从而确保训练稳定性。

实验结果

研究问题

• RQ1 固定且预训练的自编码器的潜在空间能否作为有效流形，引导GAN学习数据分布的所有模式？
• RQ2 在不降低图像质量的前提下，引入流形空间判别器是否能提升模式覆盖度？
• RQ3 所提出的引导机制能否在不改变网络架构的情况下无缝扩展至多种现有GAN架构？
• RQ4 通过流形空间与潜在空间之间的弱双向映射，在多大程度上提升了样本多样性与重建保真度？
• RQ5 生成器是否学习到了有意义的、连续的潜在空间结构，表明其具备泛化能力而非记忆化？

主要发现

• MGGAN在多种GAN变体（DCGAN-MG、LSGAN-MG、DRAGAN-MG、DFM-MG）中有效解决了模式崩溃问题，且未造成图像质量下降。
• 重建实验表明，MGGAN生成的图像能保留性别、眼镜、背景颜色等关键属性，优于ALI等双向模型。
• 潜在空间插值结果表明，生成图像之间的过渡平滑且具有语义意义，表明生成器学习到了有意义且连续的潜在空间结构。
• 基于完整数据流形的引导网络反馈，确保生成器不仅学习主要模式，也学习次要模式，从而实现更高的样本多样性。
• 固定自编码器编码器可防止误差传播，并维持训练稳定性，这一点在多种GAN架构中均得到一致性能验证。
• 定量与定性评估均表明，MGGAN在保持高保真图像生成能力的同时实现了最先进的样本多样性，验证了其有效性与通用性。