[论文解读] Multi-class Generative Adversarial Nets for Semi-supervised Image Classification

Saman Motamed, Farzad Khalvati|arXiv (Cornell University)|Feb 13, 2021

Generative Adversarial Networks and Image Synthesis参考文献 6被引用 5

一句话总结

本文提出 MCGAN，一种多类别 GAN 框架，通过同时对所有已标注类别训练判别器，提升半监督图像分类性能，防止生成器对视觉上相似的类别过度泛化。通过在训练期间将非目标类别标记为 'fake'，MCGAN 减少了对相似类别图像的错误生成，从而在已知类别和未知类别上均提升了分类准确率，尤其在类别间视觉相似度较高的挑战性情况下表现更优。

ABSTRACT

From generating never-before-seen images to domain adaptation, applications of Generative Adversarial Networks (GANs) spread wide in the domain of vision and graphics problems. With the remarkable ability of GANs in learning the distribution and generating images of a particular class, they can be used for semi-supervised classification tasks. However, the problem is that if two classes of images share similar characteristics, the GAN might learn to generalize and hinder the classification of the two classes. In this paper, we use various images from MNIST and Fashion-MNIST datasets to illustrate how similar images cause the GAN to generalize, leading to the poor classification of images. We propose a modification to the traditional training of GANs that allows for improved multi-class classification in similar classes of images in a semi-supervised learning framework.

研究动机与目标

• 解决 GAN 在半监督图像分类过程中对视觉上相似类别过度泛化的挑战。
• 在某些类别的标注数据有限或不可用时，提升分类性能。
• 通过修改 GAN 训练动态，开发一种在相似类别间保持判别能力的方法。
• 证明在判别器训练中使用所有已标注类别可减少基于变分分数的分类中的假阳性。
• 提供一种可扩展的、基于 GAN 的半监督多类别图像分类解决方案，且无需未知类别的标注数据。

提出的方法

• MCGAN 通过同时对所有已标注类别训练判别器，修改标准 GAN 训练流程，将目标类别图像标记为 'real'，其余所有已标注类别图像标记为 'fake'。
• 生成器被训练以生成目标类别的逼真图像，同时被惩罚生成与其他已标注类别相似的图像。
• 在推理阶段，使用判别器对真实图像分类为 'real' 的置信度和对生成图像分类为 'fake' 的置信度计算变分分数 V(x)，分数越低表示与目标类别越相似。
• 该方法使用多类别判别器，可区分目标类别的真实图像与所有其他已标注类别的虚假图像，从而有效阻止生成器学习相似类别间的共享特征。
• 该方法应用于半监督设置中，训练时仅对三个类别中的两个进行标注，第三个类别被视作未知类别以供检测。
• 训练目标强制生成器不生成与其它已标注类别相似的图像，即使它们具有视觉相似性。

实验结果

研究问题

• RQ1 在单类别上训练的 GAN 是否会对具有相似视觉特征的另一类别图像产生误导性低变分分数？
• RQ2 GAN 生成器的过度泛化如何影响半监督多类别图像分类性能？
• RQ3 在判别器训练中整合所有已标注类别是否能提升视觉相似类别间的分类准确率？
• RQ4 多类别判别器训练是否能减少生成器在半监督设置中向相似类别泛化的倾向？
• RQ5 与标准 DCGAN 相比，MCGAN 在半监督学习中对已知类别和未知类别的分类性能提升程度如何？

主要发现

• 在 MNIST (3,8-9) 上，MCGAN 将未知类别检测的 AUC 从 0.67 提升至 0.69；在 F-MNIST (9,4-8) 上，从 0.87 提升至 0.90，表明对未知类别的检测能力更强。
• 在已知类别的分类上，MCGAN 在所有测试组合中均优于 DCGAN，MNIST (3,8-9) 的 AUC 从 0.57 提升至 0.64，F-MNIST (9,4-8) 的 AUC 从 0.79 提升至 0.84。
• 在 (Coat, Shirt - Pullover) 组合中，MCGAN 的未知类别检测 AUC 达 0.79，高于 DCGAN 的 0.73，表现一致提升。
• 在 (Coat, Pullover - Dress) 组合中，MCGAN 的未知类别检测 AUC 达 0.81，较 DCGAN 的 0.66 显著提升，表明在高挑战性情况下表现优异。
• 尽管有所改进，MCGAN 在 (Coat, Shirt - Pullover) 和 (3,8-9) 组合上的表现仍低于 0.80 AUC，表明当类别高度相似时仍存在局限性。
• 该方法减少了 DCGAN 生成与相似类别图像的倾向——例如，在 MNIST 中训练 '8' 的 GAN 会生成类似 '3' 的图像——通过多类别判别器标签显式惩罚此类泛化行为。