[论文解读] Combating Mode Collapse in GANs via Manifold Entropy Estimation

Haozhe Liu, Bing Li+6 more|arXiv (Cornell University)|Aug 25, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

该论文提出 MaEM-GAN，一种新颖的 GAN 训练流程，通过将判别器泛化为学习结构化嵌入空间并最大化其中生成样本的熵，来缓解模式崩溃问题。通过引入流形正则化（DLLE 和 DIsoMap）以及基于回放缓冲区的非参数熵估计器，该方法在不损失生成质量的前提下提升了样本多样性，在基准数据集上优于最先进 GAN 模型和能量模型。

ABSTRACT

Generative Adversarial Networks (GANs) have shown compelling results in various tasks and applications in recent years. However, mode collapse remains a critical problem in GANs. In this paper, we propose a novel training pipeline to address the mode collapse issue of GANs. Different from existing methods, we propose to generalize the discriminator as feature embedding and maximize the entropy of distributions in the embedding space learned by the discriminator. Specifically, two regularization terms, i.e., Deep Local Linear Embedding (DLLE) and Deep Isometric feature Mapping (DIsoMap), are designed to encourage the discriminator to learn the structural information embedded in the data, such that the embedding space learned by the discriminator can be well-formed. Based on the well-learned embedding space supported by the discriminator, a non-parametric entropy estimator is designed to efficiently maximize the entropy of embedding vectors, playing as an approximation of maximizing the entropy of the generated distribution. By improving the discriminator and maximizing the distance of the most similar samples in the embedding space, our pipeline effectively reduces the mode collapse without sacrificing the quality of generated samples. Extensive experimental results show the effectiveness of our method, which outperforms the GAN baseline, MaF-GAN on CelebA (9.13 vs. 12.43 in FID) and surpasses the recent state-of-the-art energy-based model on the ANIME-FACE dataset (2.80 vs. 2.26 in Inception score). The code is available at https://github.com/HaozheLiu-ST/MEE

研究动机与目标

• 为解决 GAN 中长期存在的模式崩溃问题，该问题虽能生成高质量样本但限制了样本多样性。
• 通过重新定义判别器的角色，从二元分类器转变为保留数据流形结构的特征嵌入器，提升 GAN 的训练稳定性和多样性。
• 通过优化判别器学习的嵌入空间中的熵，间接最大化生成分布的熵。
• 设计一种高效、非参数化的熵估计方法，利用回放缓冲区实现，无需计算难以处理的划分函数，从而可扩展至高维数据。
• 证明在结构良好的嵌入空间中进行熵最大化，可在多样性与保真度方面超越标准 GAN 模型和近期的能量模型。

提出的方法

• 将判别器泛化为输出深度特征嵌入而非标量，使其转变为将真实图像与生成图像映射到 m 维空间的特征嵌入器。
• 引入深度局部线性嵌入（DLLE）和深度等距特征映射（DIsoMap）作为正则化项，以在嵌入空间中保留局部与全局流形结构。
• 设计一种基于回放缓冲区的非参数熵估计器（RB-MaEM），以高效近似并最大化嵌入分布的熵。
• 将训练目标表述为最大化嵌入向量的熵，该目标可作为最大化生成数据分布熵的代理。
• 将熵最大化目标整合进 GAN 训练循环，在保持对抗性损失的同时，通过嵌入空间促进多样性。
• 将该方法应用于标准 GAN 架构（如 StyleGAN-V2、BigGAN），仅需极少的架构修改，证明其在深度与复杂模型中的通用性。

实验结果

研究问题

• RQ1 在学习到的嵌入空间中最大化生成分布的熵，能否有效缓解 GAN 中的模式崩溃？
• RQ2 如何重构判别器，以保留数据的内在流形结构，从而支持可靠的熵估计？
• RQ3 基于回放缓冲区的非参数熵估计器，能否在高维嵌入空间中高效且准确地估计熵？
• RQ4 在嵌入空间中进行熵最大化，是否能在不降低图像质量的前提下提升样本多样性，相比标准 GAN 模型？
• RQ5 该方法是否能在基准数据集上，在多样性和保真度指标上均超越最先进能量模型？

主要发现

• 在 CelebA 数据集上，MaEM-GAN 的 FID 达到 9.13，显著优于 MaF-GAN 基线模型（12.43），证明其在多样性和质量上的优越性。
• 在 ANIMEFACE 数据集上，MaEM-GAN 的 Inception Score 达到 2.80，超过近期最先进能量模型（EBM-BB）的 2.26。
• 当引入 RB-MaEM 后，I-Variance 分数从 3.41 提升至 4.88，证明其在增强样本多样性方面的有效性。
• 该方法在应用于 StyleGAN-V2 和 BigGAN 等深度架构时，始终表现出更优的训练稳定性和性能。
• 消融实验表明，DLLE 和 DIsoMap 均对构建结构良好的嵌入空间至关重要，从而支持有效的熵最大化。
• 对嵌入空间各维度中得分最高的样本进行可视化显示，判别器能够从多样化属性（如颜色、风格）判断真实性，证实该方法能捕捉多维度的数据变化。