[论文解读] Activation Maximization Generative Adversarial Nets

Zhiming Zhou, Han Cai+6 more|arXiv (Cornell University)|Mar 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 46

一句话总结

本文提出激活最大化生成对抗网络（AM-GAN），一种新型 GAN 框架，通过在激活最大化过程中显式使用类别标签作为目标梯度，显著提升了生成样本质量，在 CIFAR-10 上实现了 SOTA 的 Inception Score 8.91，并引入了一项新指标 AM Score，以更准确地评估样本质量，超越多样性维度。

ABSTRACT

Class labels have been empirically shown useful in improving the sample quality of generative adversarial nets (GANs). In this paper, we mathematically study the properties of the current variants of GANs that make use of class label information. With class aware gradient and cross-entropy decomposition, we reveal how class labels and associated losses influence GAN's training. Based on that, we propose Activation Maximization Generative Adversarial Networks (AM-GAN) as an advanced solution. Comprehensive experiments have been conducted to validate our analysis and evaluate the effectiveness of our solution, where AM-GAN outperforms other strong baselines and achieves state-of-the-art Inception Score (8.91) on CIFAR-10. In addition, we demonstrate that, with the Inception ImageNet classifier, Inception Score mainly tracks the diversity of the generator, and there is, however, no reliable evidence that it can reflect the true sample quality. We thus propose a new metric, called AM Score, to provide a more accurate estimation of the sample quality. Our proposed model also outperforms the baseline methods in the new metric.

研究动机与目标

• 数学分析类别标签如何影响 GAN 训练，特别是 LabelGAN 和 AC-GAN 等模型中的影响。
• 识别现有类别条件 GAN 的局限性，例如 LabelGAN 中的叠加梯度问题以及 AC-GAN 中的模式崩溃现象。
• 提出 AM-GAN 作为解决方案，通过激活最大化提供更清晰、明确的梯度指导，以优化生成器。
• 开发新评估指标 AM Score，以比广泛使用的 Inception Score 更准确地反映样本质量。
• 在 CIFAR-10 和 Tiny-ImageNet 上验证所提方法，证明其在多个指标上均表现优越。

提出的方法

• 推导 LabelGAN 中的类别感知梯度，揭示类别标签如何隐式引导生成样本趋向真实类别。
• 通过将判别器中的整体真实类别 logit 替换为特定真实类别 logit，提出 AM-GAN，实现显式的目标引导。
• 提出 GAN 训练的激活最大化视角，将生成器更新视为最大化特定类别的激活。
• 提出动态标签机制，以缓解由固定类别条件引发的类内模式崩溃。
• 通过重新引入缺失的生成器损失项 $\mathbb{E}_{(x,y)\sim G}[H(u(y),C(x))]$，增强 AC-GAN*，提升训练稳定性。
• 提出基于激活最大化的 AM Score 作为新指标，旨在比 Inception Score 更可靠地估计样本质量。

实验结果

研究问题

• RQ1 类别标签在 LabelGAN 和 AC-GAN 中如何影响 GAN 的训练动态？
• RQ2 为何判别器中显式的目标类别引导相比隐式引导能显著提升样本质量？
• RQ3 预定义类别条件 GAN 中类内模式崩溃的成因是什么？动态标签机制如何缓解该问题？
• RQ4 Inception Score 在多大程度上真正反映样本质量？其作为评估指标存在哪些局限性？
• RQ5 像 AM Score 这类新指标能否比现有指标更准确、更稳定地估计生成器质量？

主要发现

• AM-GAN 在 CIFAR-10 上实现了 SOTA 的 Inception Score 8.91，优于包括 AC-GAN* 和 LabelGAN 在内的强基线模型。
• AM Score 指标比 Inception Score 更稳定可靠，AM-GAN 在所有评估模型中均取得最高 AM Score。
• Inception Score 主要衡量生成器的多样性，而非样本质量，且与感知质量无强相关性。
• AC-GAN* 中移除辅助分类器损失项 $\mathbb{E}_{(x,y)\sim G}[H(u(y),C(x))]$ 导致性能下降，表明该损失项的重要性。
• 动态标签显著减少了类内模式崩溃，尤其在 CIFAR-10 和 Tiny-ImageNet 等高变异性数据集上效果明显。
• 训练曲线显示，AM-GAN 的 AM Score 保持稳定，而 Inception Score 波动更大，表明 AM Score 具有更优的稳定性。