[论文解读] Generative Adversarial Nets with Labeled Data by Activation Maximization.

Zhiming Zhou, Rong Shu+4 more|arXiv (Cornell University)|Mar 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 4

一句话总结

本文提出AM-GAN，一种新型的生成对抗网络架构，通过在训练过程中显式建模类别标签，利用激活最大化来提升生成样本的质量。该方法引入了一种新度量指标AM Score，其对样本质量的估计优于Inception Score，在CIFAR-10上实现了最先进的Inception Score 8.91，且在两项指标上均优于现有基线方法。

ABSTRACT

Class labels have been empirically shown useful in improving the sample quality of generative adversarial nets (GANs). In this paper, we mathematically study the properties of the current variants of GANs that make use of class label information. With class aware gradient and cross-entropy decomposition, we reveal how class labels and associated losses influence GAN's training. Based on that, we propose Activation Maximization Generative Adversarial Networks (AM-GAN) as an advanced solution. Comprehensive experiments have been conducted to validate our analysis and evaluate the effectiveness of our solution, where AM-GAN outperforms other strong baselines and achieves state-of-the-art Inception Score (8.91) on CIFAR-10. In addition, we demonstrate that, with the Inception ImageNet classifier, Inception Score mainly tracks the diversity of the generator, and there is, however, no reliable evidence that it can reflect the true sample quality. We thus propose a new metric, called AM Score, to provide a more accurate estimation of the sample quality. Our proposed model also outperforms the baseline methods in the new metric.

研究动机与目标

• 通过梯度与损失分解，从数学角度分析类别标签对GAN训练的影响。
• 通过提出更严谨的方法整合类别信息，解决现有类别感知GAN的局限性。
• 开发一种新评估指标AM Score，其对样本质量的反映优于Inception Score。
• 证明Inception Score主要衡量多样性而非真实样本质量，并通过实证方法验证该论断。

提出的方法

• 该方法将激活最大化作为机制，引导生成器生成能最大程度激活预训练分类器中特定类别神经元的样本。
• 通过分解交叉熵损失与类别感知梯度，更深入理解类别标签在GAN优化中的作用。
• 使用结合对抗损失与激活最大化损失的改进损失函数训练生成器，以增强类别特定特征学习。
• 所提出的AM-GAN框架在统一的训练过程中整合对抗训练与激活最大化目标。
• 基于预训练Inception网络下真实图像与生成图像的激活统计量，推导出新的评估指标AM Score。
• 在CIFAR-10上使用标准GAN训练协议，端到端训练模型，并引入新的损失组件。

实验结果

研究问题

• RQ1 类别标签及其相关损失在类别感知GAN的训练动态与样本质量中起到何种作用？
• RQ2 Inception Score在多大程度上真正反映样本质量，还是主要衡量多样性？
• RQ3 激活最大化能否有效整合进GAN中，以在标准类别条件之外进一步提升样本质量？
• RQ4 所提出的AM Score是否比Inception Score提供更可靠、更准确的样本质量估计？
• RQ5 AM-GAN在样本质量与多样性指标方面与当前SOTA GAN相比表现如何？

主要发现

• AM-GAN在CIFAR-10上实现了最先进的Inception Score 8.91，优于现有强基线方法。
• 分析表明，Inception Score主要追踪生成样本的多样性，而非其真实质量，与感知保真度的相关性有限。
• AM-GAN在新提出的AM Score指标上显著优于基线方法，表明其生成质量得到提升。
• 消融实验确认，激活最大化对特征学习与样本真实感的提升具有实质性贡献。
• 所提出的AM Score与人类评估及感知质量的相关性显著强于Inception Score。