[论文解读] Evaluating Multi-label Classifiers with Noisy Labels

Wenting Zhao, Carla P. Gomes|arXiv (Cornell University)|Feb 16, 2021

Text and Document Classification Technologies参考文献 60被引用 11

一句话总结

该论文提出CbMLC，一种基于上下文的多标签分类器，通过利用预训练词嵌入实现上下文感知正则化，并结合非对称损失函数，有效缓解了对噪声标签的过拟合问题。在包含噪声的多标签数据集上，CbMLC在无需干净标签或额外监督的情况下，通过有效学习标签依赖关系，显著优于当前最先进方法。

ABSTRACT

Multi-label classification (MLC) is a generalization of standard classification where multiple labels may be assigned to a given sample. In the real world, it is more common to deal with noisy datasets than clean datasets, given how modern datasets are labeled by a large group of annotators on crowdsourcing platforms, but little attention has been given to evaluating multi-label classifiers with noisy labels. Exploiting label correlations now becomes a standard component of a multi-label classifier to achieve competitive performance. However, this component makes the classifier more prone to poor generalization - it overfits labels as well as label dependencies. We identify three common real-world label noise scenarios and show how previous approaches per-form poorly with noisy labels. To address this issue, we present a Context-Based Multi-LabelClassifier (CbMLC) that effectively handles noisy labels when learning label dependencies, without requiring additional supervision. We compare CbMLC against other domain-specific state-of-the-art models on a variety of datasets, under both the clean and the noisy settings. We show CbMLC yields substantial improvements over the previous methods in most cases.

研究动机与目标

• 解决多标签分类（MLC）在真实世界噪声标签设置下缺乏评估与鲁棒性的挑战。
• 识别并建模三种常见的现实世界标签噪声场景——特别是现有方法失效的非对称和混合噪声类型。
• 开发一种在无干净标签或额外监督的情况下，仍能稳健学习标签相关性的方法。
• 通过使用预训练词嵌入实现基于上下文的正则化，提升多标签分类中的泛化能力。

提出的方法

• CbMLC采用编码器-解码器架构，使用领域特定编码器将输入特征映射到潜在表示。
• 其在标签图上使用消息传递解码器，通过图神经网络（GNNs）建模标签依赖关系。
• 模型应用非对称损失函数，对正负标签预测进行差异化加权，提升对标签噪声的鲁棒性。
• 通过将输入特征与标签的词嵌入进行比较，并对嵌入空间中的距离进行归一化，实现基于上下文的正则化，以减少过平滑现象。
• 标签表示初始化使用预训练词嵌入，但模型在训练过程中会微调这些嵌入，以适应数据集的特定语义。
• 该框架通过基于语义相似度对标签嵌入进行正则化，减少对噪声共现统计的依赖，从而避免过拟合。

实验结果

研究问题

• RQ1 现有最先进MLC模型在现实世界中非对称和混合标签噪声场景下的表现如何？
• RQ2 当在噪声多标签数据集上训练时，标签相关性学习方法在多大程度上会出现过拟合？
• RQ3 基于预训练词嵌入的上下文正则化是否能提升多标签分类在噪声标签下的泛化能力？
• RQ4 在噪声MLC设置下，非对称损失函数与上下文感知正则化相结合，是否优于对称损失或标准BCE损失？

主要发现

• 在多种非对称和混合噪声设置下，CbMLC在基准数据集（包括Pascal VOC）的噪声版本上显著优于当前最先进模型。
• 在Pascal VOC数据集注入非对称噪声的情况下，CbMLC保持了较高的mAP性能，而ML-GCN迅速过拟合，显示出显著减小的泛化差距。
• 在干净数据集上，该模型表现优于或匹配最先进水平，表明基于上下文的正则化不会损害干净数据上的性能。
• 消融实验表明，基于上下文的正则化和非对称损失函数是关键组件，当任一组件被移除时性能均明显下降。
• 通过词嵌入实现的标签相似性学习在五个数据集中的四个上提升了准确率，表明有效捕捉了语义标签关系。
• 该方法在跨领域场景下具有良好的泛化能力，在计算机视觉和自然语言处理基准测试中均表现出一致的性能提升，尤其在噪声条件下。