[论文解读] Multi-layered Semantic Representation Network for Multi-label Image Classification

Xiwen Qu, Hao Che+3 more|arXiv (Cornell University)|Jun 22, 2021

Text and Document Classification Technologies参考文献 33被引用 6

一句话总结

该论文提出了一种多层语义表示网络（MSRN），用于多标签图像分类，通过标签共现图联合建模局部和全局标签语义，并利用语义引导的注意力机制在多个卷积层中学习图像表征。MSRN在四个基准数据集上实现了最先进性能，在COCO和VOC 2007数据集上的mAP和CF1指标上相比之前方法最高提升0.4%。

ABSTRACT

Multi-label image classification (MLIC) is a fundamental and practical task, which aims to assign multiple possible labels to an image. In recent years, many deep convolutional neural network (CNN) based approaches have been proposed which model label correlations to discover semantics of labels and learn semantic representations of images. This paper advances this research direction by improving both the modeling of label correlations and the learning of semantic representations. On the one hand, besides the local semantics of each label, we propose to further explore global semantics shared by multiple labels. On the other hand, existing approaches mainly learn the semantic representations at the last convolutional layer of a CNN. But it has been noted that the image representations of different layers of CNN capture different levels or scales of features and have different discriminative abilities. We thus propose to learn semantic representations at multiple convolutional layers. To this end, this paper designs a Multi-layered Semantic Representation Network (MSRN) which discovers both local and global semantics of labels through modeling label correlations and utilizes the label semantics to guide the semantic representations learning at multiple layers through an attention mechanism. Extensive experiments on four benchmark datasets including VOC 2007, COCO, NUS-WIDE, and Apparel show a competitive performance of the proposed MSRN against state-of-the-art models.

研究动机与目标

• 通过建模局部和全局标签相关性来提升多标签图像分类性能。
• 通过利用CNN多个卷积层的特征来增强语义表征学习。
• 通过注意力机制利用标签语义引导特征学习聚焦于感兴趣区域。
• 解决现有方法仅关注最后一层卷积层或局部标签语义的局限性。

提出的方法

• 引入标签组嵌入（LGE）模块，利用标签共现图捕捉局部标签语义和全局组语义。
• 设计语义引导注意力（SGA）模块，利用标签和组嵌入引导CNN聚焦于相关图像区域。
• 通过注意力机制将LGE与来自CNN不同层的多个特征图结合，生成共享的语义表征。
• 采用多分支结构，从ResNet-101的最后三个或全部四个残差块中提取特征。
• 采用带正则化的联合优化框架，以平衡标签嵌入学习与特征表征学习。
• 应用基于图的聚类策略，根据共现频率对标签进行分组，实现高阶相关性建模。

实验结果

研究问题

• RQ1 同时建模局部和全局标签语义是否能提升多标签图像分类性能？
• RQ2 在多个卷积层中学习语义表征是否能比仅使用最后一层带来更好的特征判别能力？
• RQ3 由标签语义引导的注意力机制是否能改善多标签预测中相关图像区域的定位？
• RQ4 该模型对超参数（如标签组数量和正则化强度）的敏感性如何？
• RQ5 在所提框架中，标签特定语义与组级别语义的相对贡献是什么？

主要发现

• 在VOC 2007上，MSRN达到94.85%的mAP，相比之前最先进方法在CF1上提升0.4%，在OF1上提升0.2%。
• 在COCO上，MSRN达到42.1%的mAP，比第二好的模型高0.1%，在CF1和CF1-3上分别提升0.2%和0.4%。
• 在NUS-WIDE上，MSRN达到61.5%的mAP和74.0%的OF1，在所有对比方法中排名第一。
• 在Apparel数据集上，MSRN达到99.65%的mAP，比ResNet-101高0.18%，比之前SOTA高0.06%。
• 消融实验表明，标签嵌入和组嵌入均不可或缺，完整MSRN模型优于仅使用单一类型嵌入的变体。
• 模型对超参数变化具有鲁棒性，mAP在不同组数（m）和正则化强度（λ）下变化小于0.5%。