[论文解读] Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition

Tianshui Chen, Liang Lin+3 more|arXiv (Cornell University)|Sep 20, 2020

Text and Document Classification Technologies被引用 13

一句话总结

本文提出了一种知识引导的图路由（KGGR）框架，将统计标签共现知识整合到图结构神经网络中，以提升多标签图像识别与少样本学习性能。通过使用两个图传播网络——一个用于语义引导的特征交互，另一个用于分类器权重迁移——该方法在 COCO、VOC 和 Visual Genome 基准上实现了最先进性能，尤其在低样本设置下表现优异，mAP 相较于先前方法最高提升 8.2%。

ABSTRACT

Recognizing multiple labels of an image is a practical yet challenging task, and remarkable progress has been achieved by searching for semantic regions and exploiting label dependencies. However, current works utilize RNN/LSTM to implicitly capture sequential region/label dependencies, which cannot fully explore mutual interactions among the semantic regions/labels and do not explicitly integrate label co-occurrences. In addition, these works require large amounts of training samples for each category, and they are unable to generalize to novel categories with limited samples. To address these issues, we propose a knowledge-guided graph routing (KGGR) framework, which unifies prior knowledge of statistical label correlations with deep neural networks. The framework exploits prior knowledge to guide adaptive information propagation among different categories to facilitate multi-label analysis and reduce the dependency of training samples. Specifically, it first builds a structured knowledge graph to correlate different labels based on statistical label co-occurrence. Then, it introduces the label semantics to guide learning semantic-specific features to initialize the graph, and it exploits a graph propagation network to explore graph node interactions, enabling learning contextualized image feature representations. Moreover, we initialize each graph node with the classifier weights for the corresponding label and apply another propagation network to transfer node messages through the graph. In this way, it can facilitate exploiting the information of correlated labels to help train better classifiers. We conduct extensive experiments on the traditional multi-label image recognition (MLR) and multi-label few-shot learning (ML-FSL) tasks and show that our KGGR framework outperforms the current state-of-the-art methods by sizable margins on the public benchmarks.

研究动机与目标

• 解决现有方法在建模显式标签依赖关系以及在多标签图像识别中泛化到少样本类别方面的局限性。
• 将统计标签共现的先验知识整合到深度神经网络中，以改善特征与分类器学习。
• 通过基于图的消息传递利用相关标签信息，降低对每个类别大规模训练集的依赖。
• 统一语义特征学习与分类器知识迁移，以在标准多标签识别与少样本场景下均获得更优性能。

提出的方法

• 基于统计标签共现频率构建知识图，以建模类别之间的先验相关性。
• 引入一种语义引导的注意力模块，利用类别语义聚焦于相关语义区域的特征学习。
• 采用图神经网络在节点间传播并聚合特征，为每个类别学习上下文感知的表示。
• 以分类器权重初始化图节点，并应用第二个图传播网络在相关标签间传递信息。
• 使用交叉熵损失训练模型，以预测多标签存在的概率。
• 采用两阶段消息传递：在特征空间中进行表示学习，另一阶段在语义空间中进行分类器优化。

实验结果

研究问题

• RQ1 标签共现的先验知识能否提升多标签图像识别中的特征表示学习？
• RQ2 基于图的消息传递如何增强低资源（少样本）类别的分类器学习？
• RQ3 语义引导的注意力在多标签图像中对相关物体区域的定位改善程度如何？
• RQ4 知识引导的图路由是否优于在多标签场景中对标签依赖关系进行 RNN 顺序建模？
• RQ5 整合标签相关性知识在多大程度上可减少对每个类别大规模训练集的依赖？

主要发现

• KGGR 框架在 Microsoft COCO 数据集上实现了 84.3% 的平均平均精度（mAP），较之前最先进方法提升 2.1 个百分点。
• 在 1-shot 和 5-shot 少样本学习设置下，该方法分别实现了 52.3% 和 63.5% 的 mAP，相较先前方法分别提升 8.2% 和 7.5%。
• 移除语义引导注意力模块后，mAP 降至 80.9%，表明其在聚焦相关语义区域方面具有关键作用。
• 若消除嵌入知识的特征传播机制，COCO 上 mAP 下降 2.1%，证实其在上下文特征学习中的贡献。
• 将交叉熵损失替换为欧氏距离损失后，mAP 从 84.3% 降至 79.2%，表明交叉熵在多标签分类中更具有效性。
• 图语义传播组件贡献显著，其移除导致 COCO 上 mAP 从 84.3% 降至 83.8%，1-shot 少样本学习中从 52.3% 降至 50.4%。