[论文解读] Large Loss Matters in Weakly Supervised Multi-Label Classification

Youngwook Kim, Jae Myung Kim+2 more|arXiv (Cornell University)|Jun 8, 2022

Text and Document Classification Technologies被引用 4

一句话总结

本文提出了一种新颖的大型损失重加权策略，用于弱监督多标签分类，其中在训练过程中优先处理相对损失较大的样本，以提升模型泛化能力。通过根据每个小批量内损失的相对大小动态调整损失权重，该方法实现了最先进性能，在NUSWIDE上相比基线方法mAP提升高达+6.6%，在OpenImages V3上提升高达+0.4%。

ABSTRACT

Weakly supervised multi-label classification (WSML) task, which is to learn a multi-label classification using partially observed labels per image, is becoming increasingly important due to its huge annotation cost. In this work, we first regard unobserved labels as negative labels, casting the WSML task into noisy multi-label classification. From this point of view, we empirically observe that memorization effect, which was first discovered in a noisy multi-class setting, also occurs in a multi-label setting. That is, the model first learns the representation of clean labels, and then starts memorizing noisy labels. Based on this finding, we propose novel methods for WSML which reject or correct the large loss samples to prevent model from memorizing the noisy label. Without heavy and complex components, our proposed methods outperform previous state-of-the-art WSML methods on several partial label settings including Pascal VOC 2012, MS COCO, NUSWIDE, CUB, and OpenImages V3 datasets. Various analysis also show that our methodology actually works well, validating that treating large loss properly matters in a weakly supervised multi-label classification. Our code is available at https://github.com/snucml/LargeLossMatters.

研究动机与目标

• 解决多标签图像分类中噪声和不完整标签的挑战。
• 通过聚焦于训练损失较大的样本，提升弱监督学习中的模型泛化能力。
• 开发一种动态损失重加权机制，根据每个小批量内损失的相对大小自适应调整阈值。
• 评估相对损失阈值与绝对损失阈值在损失重加权策略中的表现差异。
• 通过可视化展示改进的类激活图（CAM）和模型可解释性。

提出的方法

• 该方法引入了一种相对损失阈值机制，其中阈值 $ R(t) = R_0 - t \cdot \Delta_{\text{rel}} $ 根据每个小批量中损失的相对大小随时间动态调整。
• 提出了三种变体——LL-R、LL-Ct 和 LL-Cp，其差异在于阈值在样本上的应用方式：随机、按类别或逐样本重加权。
• 还引入了一种绝对损失变体，其中 $ R(t) = R_0 - t \cdot \Delta_{\text{abs}} $，使用绝对损失值而非相对排序。
• 超参数 $ \Delta_{\text{rel}} $、$ \Delta_{\text{abs}} $ 和 $ R_0 $ 在离散范围内进行搜索，以优化性能。
• 模型采用端到端训练或线性探测训练，从训练集中划分20%作为验证集，基于mAP选择最佳模型。
• 通过可视化类激活图（CAM）比较本方法与基线方法（如Naive AN和ROLE）在定位精度方面的差异。

Figure 1 : Class Activation Mapping results in COCO test images.

实验结果

研究问题

• RQ1 在弱监督多标签分类中，优先处理相对损失较大的样本是否能提升性能？
• RQ2 相对损失阈值与绝对损失阈值相比，在mAP和鲁棒性方面表现如何？
• RQ3 动态损失重加权是否能通过类激活图实现更好的定位和可解释性？
• RQ4 不同的损失重加权策略（LL-R、LL-Ct、LL-Cp）对模型泛化能力有何影响？
• RQ5 所提出的方法在合成部分标签数据集和真实世界部分标签数据上表现如何？

主要发现

• 在人工创建部分标签的NUSWIDE数据集上，LL-Ct abs相比Naive AN实现+6.6 mAP的提升，相比LL-relative实现+0.3 mAP的提升。
• 在具有真实部分标签的OpenImages V3上，绝对损失变体（LL-R abs、LL-Ct abs、LL-Cp abs）相比Naive AN实现+0.3至+0.4 mAP的提升。
• LL-Ct abs在NUSWIDE上达到48.6 mAP，优于Naive AN（42.0 mAP）和LL-relative（48.3 mAP）。
• 在OpenImages V3的G1–G5组评估中，LL-Ct abs在G5上达到89.3 mAP，高于Naive AN的88.8 mAP，表明在各组中均保持一致的性能增益。
• 类激活图的可视化结果表明，LL-Ct在对象定位方面比Naive AN和ROLE更准确，表明其与人类理解更一致。
• 绝对损失变体（LL-Ct abs）在合成数据集和真实世界数据集上均保持强性能，表明其对不同损失准则具有鲁棒性。