[论文解读] Label Structure Preserving Contrastive Embedding for Multi-Label Learning with Missing Labels

Zhongchen Ma, Lisha Li+2 more|arXiv (Cornell University)|Sep 3, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出CLML，一种针对标签缺失场景下的多标签图像分类新型对比损失，通过整合标签校正与低秩结构保持机制，提升特征表示能力。通过精准识别每类标签的正负样本，并保持全局与局部标签依赖关系，CLML在MSCOCO、VOC和NUS-WIDE数据集上将ResNet101的性能提升了1.2–1.3%。

ABSTRACT

Contrastive learning (CL) has shown impressive advances in image representation learning in whichever supervised multi-class classification or unsupervised learning. However, these CL methods fail to be directly adapted to multi-label image classification due to the difficulty in defining the positive and negative instances to contrast a given anchor image in multi-label scenario, let the label missing one alone, implying that borrowing a commonly-used way from contrastive multi-class learning to define them will incur a lot of false negative instances unfavorable for learning. In this paper, with the introduction of a label correction mechanism to identify missing labels, we first elegantly generate positives and negatives for individual semantic labels of an anchor image, then define a unique contrastive loss for multi-label image classification with missing labels (CLML), the loss is able to accurately bring images close to their true positive images and false negative images, far away from their true negative images. Different from existing multi-label CL losses, CLML also preserves low-rank global and local label dependencies in the latent representation space where such dependencies have been shown to be helpful in dealing with missing labels. To the best of our knowledge, this is the first general multi-label CL loss in the missing-label scenario and thus can seamlessly be paired with those losses of any existing multi-label learning methods just via a single hyperparameter. The proposed strategy has been shown to improve the classification performance of the Resnet101 model by margins of 1.2%, 1.6%, and 1.3% respectively on three standard datasets, MSCOCO, VOC, and NUS-WIDE. Code is available at https://github.com/chuangua/ContrastiveLossMLML.

研究动机与目标

• 解决在训练过程中标签不完整或缺失时，训练鲁棒多标签模型的挑战。
• 克服标准对比学习在多标签设置下的局限性，即因标签缺失导致的假负样本问题。
• 在嵌入空间中保持全局与局部标签的低秩依赖关系，以增强在标签稀缺情况下的表征学习能力。
• 设计一种通用型对比损失，仅通过一个超参数即可无缝集成至现有多标签学习框架中。

提出的方法

• 引入标签校正机制，在训练过程中推断缺失标签，减少对比学习中的假负样本。
• 为每个语义标签独立定义实例级别的正负样本对，提升对比信号的准确性。
• 提出一种独特的对比损失（CLML），在嵌入空间中拉近真实正样本，推远真实负样本。
• 对全局与局部标签结构施加低秩约束，以保持标签之间的语义关系。
• 将CLML与标准交叉熵损失（BCE）结合，联合优化分类与对比表征学习。
• 通过t-SNE可视化与消融实验，验证损失函数中各组件的有效性。

实验结果

研究问题

• RQ1 当标签缺失时，如何有效将对比学习适配于多标签图像分类？
• RQ2 在标签不完整的情况下，标签校正机制在多大程度上可减少对比学习中的假负样本？
• RQ3 在存在标签缺失的情况下，保持全局与局部标签的低秩依赖关系是否能提升表征学习能力？
• RQ4 在标准基准上，CLML与标准交叉熵损失及其他对比损失相比，在性能与鲁棒性方面表现如何？

主要发现

• 在MSCOCO、VOC和NUS-WIDE数据集上，CLML分别将ResNet101的mAP提升1.2%、1.6%和1.3%，优于基线方法。
• 消融实验表明，CLML在所有评估指标上均表现最佳，其中在VOC数据集上mAP最高（87.2），F1-score最高（80.3）。
• t-SNE可视化结果表明，CLML增强了类内紧凑性与类间分离性，尤其对假负样本效果显著。
• 标签校正机制成功检测并整合了缺失标签，表现为嵌入空间中特征分布更加松散。
• 低秩约束显著提升了聚类质量，t-SNE图中聚类更紧密、边界更清晰。
• CLML有效缩短了假负样本与真实正样本簇之间的距离，证明其具备缓解标签缺失影响的能力。