[论文解读] Multi-Label Classification with Label Graph Superimposing

Ya Wang, Dongliang He+5 more|arXiv (Cornell University)|Nov 21, 2019

Text and Document Classification Technologies参考文献 32被引用 14

一句话总结

本文提出KSSNet，一种新颖的多标签分类框架，通过将知识图谱叠加到统计共现图之上，更有效地建模标签相关性。通过在多个深度引入GCN与CNN之间的侧向连接，模型增强了具备标签系统感知能力的特征学习，在MS-COCO和Charades数据集上分别实现了6.4%和12.0%的mAP提升，达到当前最优性能。

ABSTRACT

Images or videos always contain multiple objects or actions. Multi-label recognition has been witnessed to achieve pretty performance attribute to the rapid development of deep learning technologies. Recently, graph convolution network (GCN) is leveraged to boost the performance of multi-label recognition. However, what is the best way for label correlation modeling and how feature learning can be improved with label system awareness are still unclear. In this paper, we propose a label graph superimposing framework to improve the conventional GCN+CNN framework developed for multi-label recognition in the following two aspects. Firstly, we model the label correlations by superimposing label graph built from statistical co-occurrence information into the graph constructed from knowledge priors of labels, and then multi-layer graph convolutions are applied on the final superimposed graph for label embedding abstraction. Secondly, we propose to leverage embedding of the whole label system for better representation learning. In detail, lateral connections between GCN and CNN are added at shallow, middle and deep layers to inject information of label system into backbone CNN for label-awareness in the feature learning process. Extensive experiments are carried out on MS-COCO and Charades datasets, showing that our proposed solution can greatly improve the recognition performance and achieves new state-of-the-art recognition performance.

研究动机与目标

• 为解决在多标签识别中建模标签相关性的挑战，通过结合统计共现模式与外部知识图谱来实现。
• 通过将标签系统结构整合到CNN特征提取过程中，而非仅在推理阶段处理标签，从而改进特征表示学习。
• 通过引入侧向连接和冗余控制机制，缓解深层GCN中的过平滑问题。
• 开发一个统一框架，在图像与视频多标签识别任务中实现性能提升，且计算开销最小。

提出的方法

• 构建两个邻接矩阵：一个来自标签共现统计（A_S），另一个来自知识图谱（ConceptNet）（A_K），分别表示统计性与先验性标签关系。
• 将两个图叠加形成最终邻接矩阵 A = λA_S + (1−λ)A_K，其中λ为可学习的叠加权重。
• 使用ConceptNet中的预训练节点表示初始化标签嵌入，以增强标签图中的语义先验。
• 在叠加图上应用多层图卷积网络（GCNs），学习能够捕捉统计性与先验性相关性的上下文化标签嵌入。
• 在浅层、中层和深层引入CNN与GCN之间的侧向连接（LC），将标签嵌入注入CNN特征图，以指导标签感知的特征学习。
• 通过侧向连接操作的梯度信号正则化GCN训练，并应用冗余边移除策略，缓解深层GCN中的过平滑问题。

实验结果

研究问题

• RQ1 如何通过结合统计共现模式与外部知识图谱来改进标签相关性建模？
• RQ2 在多个CNN层中注入标签系统信息是否能提升多标签识别的特征表示学习？
• RQ3 所提出的叠加图结构是否优于仅使用统计图或仅使用知识图的结构？
• RQ4 GCN的深度如何影响性能，尤其是在存在过平滑问题的情况下？
• RQ5 侧向连接机制是否能有效正则化特征学习并在多标签设置中提升泛化能力？

主要发现

• 通过叠加统计图与知识图形成的KS图，在MS-COCO与Charades两个数据集上均取得最佳性能。
• 在MS-COCO数据集上，KSSNet相较于普通CNN基线模型实现了6.4%的绝对mAP提升，达到新的最先进水平。
• 在Charades数据集上，KSSNet相较基线模型实现了12.0%的mAP增益，表明其在视频识别任务中具有强大的泛化能力。
• 将GCN深度从2层增至4层，在MS-COCO上使mAP提升0.6%，在Charades上提升1.9%，表明由于侧向连接的正则化作用，更深的GCN在KSSNet中更具优势。
• 消融实验表明，由于数据稀疏性，知识图谱在Charades上比统计图更有效，而KS图在两个数据集上始终优于两者。
• 超参数分析显示，在λ=0.6和τ=0.03时性能最优，Charades上的mAP达到峰值44.93，验证了叠加策略的鲁棒性。