[论文解读] Conditional GANs with Auxiliary Discriminative Classifier

Liang Hou, Qi Cao+4 more|arXiv (Cornell University)|Jul 21, 2021

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 8

一句话总结

本文提出ADC-GAN，一种新型的条件生成对抗网络，通过引入一种生成器感知的辅助判别分类器，增强了类内多样性。该分类器联合区分真实数据与生成数据，并预测类别标签。理论分析表明，即使没有原始判别器，生成器仍能学习联合分布，从而在合成数据集和真实世界数据集上实现了优于当前最先进方法的训练稳定性和性能表现。

ABSTRACT

Conditional generative models aim to learn the underlying joint distribution of data and labels to achieve conditional data generation. Among them, the auxiliary classifier generative adversarial network (AC-GAN) has been widely used, but suffers from the problem of low intra-class diversity of the generated samples. The fundamental reason pointed out in this paper is that the classifier of AC-GAN is generator-agnostic, which therefore cannot provide informative guidance for the generator to approach the joint distribution, resulting in a minimization of the conditional entropy that decreases the intra-class diversity. Motivated by this understanding, we propose a novel conditional GAN with an auxiliary discriminative classifier (ADC-GAN) to resolve the above problem. Specifically, the proposed auxiliary discriminative classifier becomes generator-aware by recognizing the class-labels of the real data and the generated data discriminatively. Our theoretical analysis reveals that the generator can faithfully learn the joint distribution even without the original discriminator, making the proposed ADC-GAN robust to the value of the coefficient hyperparameter and the selection of the GAN loss, and stable during training. Extensive experimental results on synthetic and real-world datasets demonstrate the superiority of ADC-GAN in conditional generative modeling compared to state-of-the-art classifier-based and projection-based conditional GANs.

研究动机与目标

• 为解决AC-GAN中因生成器无关的分类器导致条件熵最小化而引发的类内多样性低的问题。
• 开发一种条件生成对抗网络架构，通过使辅助分类器感知生成器的输出分布，为生成器提供更具信息量的指导。
• 通过减少对超参数调优和GAN损失函数选择的依赖，提升训练稳定性。
• 与当前最先进的基于分类器和基于投影的GAN相比，展示出更优的条件生成性能。

提出的方法

• 引入一个辅助判别分类器，联合预测类别标签并区分真实数据与生成数据，使其具备生成器感知能力。
• 训练生成器以最小化对抗损失和条件熵损失，同时判别器与分类器联合优化。
• 理论分析表明，只要分类器具备生成器感知能力，即使没有原始判别器，生成器仍能学习到数据与标签的联合分布。
• 分类器在真实样本和生成样本上进行训练，使其能够提供反馈，从而促进各类内部的多样性。
• 该方法对超参数选择和GAN损失函数具有鲁棒性，增强了训练稳定性。
• 在合成数据集和真实世界数据集上对框架进行评估，以验证其有效性。

实验结果

研究问题

• RQ1 与传统AC-GAN相比，生成器感知的辅助分类器是否能提升条件生成对抗网络中的类内多样性？
• RQ2 所提出的ADC-GAN在不同超参数设置和GAN损失函数下是否保持训练稳定性？
• RQ3 当分类器具备生成器感知能力时，生成器是否能够在不依赖原始判别器的情况下学习到数据-标签的联合分布？
• RQ4 在生成质量与多样性方面，ADC-GAN与当前最先进的基于分类器和基于投影的条件生成对抗网络相比表现如何？
• RQ5 判别分类器区分真实样本与生成样本的能力对整体生成性能有何影响？

主要发现

• 在合成数据集和真实世界数据集上，ADC-GAN在类内多样性方面显著优于AC-GAN及其他当前最先进的条件生成对抗网络。
• 理论分析证实，只要分类器具备生成器感知能力，即使没有原始判别器，生成器仍能学习到联合分布。
• ADC-GAN对超参数选择和GAN损失函数具有鲁棒性，降低了训练过程中的敏感性。
• 实验结果表明，该方法在多个基准数据集上均表现出一致的性能提升，验证了生成器感知分类器设计的有效性。
• 辅助判别分类器能有效引导生成器生成各类内部更多样化的样本，从而减少模式崩溃现象。