[论文解读] Open-Category Classification by Adversarial Sample Generation

Yu Yang, Wei-Yang Qu+2 more|arXiv (Cornell University)|May 24, 2017

Anomaly Detection Techniques and Applications参考文献 18被引用 10

一句话总结

本文提出了对抗样本生成（ASG）框架，用于开放类别分类，利用对抗学习生成已见类别的逼真正样本与负样本，以提升对未见类别的检测能力。ASG在多个数据集上显著优于最先进方法，尤其在低数据场景下，取得了最高的宏平均F1分数。

ABSTRACT

In real-world classification tasks, it is difficult to collect training samples from all possible categories of the environment. Therefore, when an instance of an unseen class appears in the prediction stage, a robust classifier should be able to tell that it is from an unseen class, instead of classifying it to be any known category. In this paper, adopting the idea of adversarial learning, we propose the ASG framework for open-category classification. ASG generates positive and negative samples of seen categories in the unsupervised manner via an adversarial learning strategy. With the generated samples, ASG then learns to tell seen from unseen in the supervised manner. Experiments performed on several datasets show the effectiveness of ASG.

研究动机与目标

• 解决在无新类别训练数据的情况下，对开放环境中未见类别实例进行分类的挑战。
• 克服传统分类器因独立同分布假设而将未见实例误分类为已知类别的局限性。
• 开发一种方法，实现对未见类别的鲁棒检测，且无需依赖属性信息、标注的新类别数据或对新类别先验知识。
• 通过合成已见类别的边界样例，提升在低数据场景下的泛化能力与检测性能。
• 提供一种自监督的对抗性方法，增强分类器在开放集识别中的判别能力。

提出的方法

• 利用对抗学习生成接近已见类别边界的负样本，使其难以与真实已见实例区分。
• 生成与真实已见类别数据无法区分的正样本，以扩充训练集，尤其在训练数据稀缺时具有优势。
• 在真实数据与生成数据的组合上训练监督分类器（如SVM），以学习分离已见与未见类别的决策边界。
• 利用判别器网络引导生成过程，确保生成样本具备真实性和对抗性特征。
• 以端到端的两阶段流程应用该框架：先进行无监督的对抗样本生成，再进行监督的开放类别分类。
• 利用生成数据提升模型的泛化能力与鲁棒性，尤其在检测分布外样本方面表现更优。

实验结果

研究问题

• RQ1 对抗样本生成能否有效模拟已见类别的边界区域，从而提升对未见类别的检测能力？
• RQ2 在开放类别场景下，ASG与传统开放集分类方法（如OVR-SVM、OC-SVM、MOC-SVM）相比，性能如何？
• RQ3 当训练数据有限或类别不平衡时，ASG框架是否仍能保持或提升性能？
• RQ4 生成样本能否增强分类器拒绝未见实例的能力，而无需依赖高层属性或标注的新类别数据？
• RQ5 对抗性数据生成在多样化数据集上，对开放类别分类的宏平均F1与精确率提升程度如何？

主要发现

• ASG-SVM在所有数据集上均取得最高宏平均F1分数，人工数据集上均值为0.703，旗帜数据集上为0.522，玻璃数据集上为0.706，字母数据集上为0.944，page_blocks数据集上为0.611，显著优于所有基线方法。
• 在20 Newsgroups数据集上，ASG-SVM在所有配置下均保持最佳性能，且随着测试类别数量增加，F1分数仅缓慢下降，表明对开放集复杂度具有强鲁棒性。
• 在小样本场景（每类≤100个样本）下，ASG-SVM的平均排名最优（1.2），显著优于OVR-SVM（3.0）、MOC-SVM（3.6）和OC-SVM（6.0）。
• 当每类训练样本仅100个时，ASG-SVM相较基线方法的性能提升最大，证明其在低数据设置下的有效性。
• 异常检测方法如OC-SVM与MOC-SVM在20 Newsgroups数据集上完全失效，证实未见类别不应被视作异常，这是此类方法的关键局限。
• 胜/平/负分析表明，ASG在多个数据集与配置下显著优于所有对比方法，具有统计上的显著优势。