[论文解读] Knowledge-Embedded Representation Learning for Fine-Grained Image Recognition

Tianshui Chen, Liang Lin+3 more|ArXiv.org|Jul 2, 2018

Domain Adaptation and Few-Shot Learning参考文献 19被引用 10

一句话总结

本文提出了一种名为知识嵌入表示学习（KERL）的新框架，通过门控图神经网络和门控融合机制，将细粒度属性的知识图谱嵌入深度神经网络。通过将图像特征与图中特定属性对齐，KERL在Caltech-UCSD Birds-200-2011数据集上实现了86.6%的最先进准确率，其特征图能突出显示与关键属性相对应的判别性部位。

ABSTRACT

Humans can naturally understand an image in depth with the aid of rich knowledge accumulated from daily lives or professions. For example, to achieve fine-grained image recognition (e.g., categorizing hundreds of subordinate categories of birds) usually requires a comprehensive visual concept organization including category labels and part-level attributes. In this work, we investigate how to unify rich professional knowledge with deep neural network architectures and propose a Knowledge-Embedded Representation Learning (KERL) framework for handling the problem of fine-grained image recognition. Specifically, we organize the rich visual concepts in the form of knowledge graph and employ a Gated Graph Neural Network to propagate node message through the graph for generating the knowledge representation. By introducing a novel gated mechanism, our KERL framework incorporates this knowledge representation into the discriminative image feature learning, i.e., implicitly associating the specific attributes with the feature maps. Compared with existing methods of fine-grained image classification, our KERL framework has several appealing properties: i) The embedded high-level knowledge enhances the feature representation, thus facilitating distinguishing the subtle differences among subordinate categories. ii) Our framework can learn feature maps with a meaningful configuration that the highlighted regions finely accord with the nodes (specific attributes) of the knowledge graph. Extensive experiments on the widely used Caltech-UCSD bird dataset demonstrate the superiority of our KERL framework over existing state-of-the-art methods.

研究动机与目标

• 为解决现有细粒度识别方法仅依赖低层次视觉线索而未利用结构化高层次知识的局限性。
• 探究专业知识（如部件级属性和类别关系）如何系统性地整合到深度神经网络中以提升特征学习。
• 开发一种生成可解释、属性感知特征图的框架，其中突出区域与知识图谱中的相关属性精确对应。
• 证明知识嵌入可带来更具鲁棒性和泛化能力的表示，适用于细粒度分类任务。

提出的方法

• 构建了一个大规模知识图谱，用于建模Caltech-UCSD Birds数据集中鸟类类别与其部件级属性之间的关系（例如，'翅膀：金属光泽'，'头部：有面罩'）。
• 采用门控图神经网络（GGNN）在知识图谱的节点间传播消息，生成上下文相关的知识表示。
• 提出一种新颖的门控机制，利用学习到的知识表示动态调制卷积特征图，实现属性感知的特征学习。
• 通过图像特征与知识表示的门控融合，生成与语义属性对齐的判别性、类注意力特征图。
• 使用交叉熵损失端到端训练模型，知识图谱作为归纳偏置，引导特征学习过程。
• 在全局平均池化前可视化特征图，以分析空间注意力模式并验证其与图嵌入属性的一致性。

实验结果

研究问题

• RQ1 结构化的部件级属性知识是否能超越从原始图像端到端学习的方式，提升细粒度图像识别性能？
• RQ2 高层次视觉概念（如颜色、形状、图案）如何在深度神经网络中被有效编码并用于细粒度分类？
• RQ3 知识嵌入是否能带来更具可解释性和语义意义的特征图，从而突出显示相关身体部位？
• RQ4 所提出的KERL框架与替代性知识融合策略（如特征拼接或自引导注意力）相比表现如何？
• RQ5 该框架是否能泛化到属性在区分视觉上相似的子类别时至关重要的情况？

主要发现

• KERL在'图像中的鸟（bird in bbox）'设置下达到86.6%的top-1准确率，在'图像中的鸟（bird in image）'设置下达到86.3%，优于基线CB-CNN（分别为84.6%和85.0%）及其他基线模型。
• 自引导特征选择基线（未使用GGNN）仅达到84.8%和85.3%，表明知识整合对性能提升至关重要。
• 与图特征进行特征拼接仅获得85.4%和85.5%的准确率，表明简单融合机制不足以媲美KERL中的门控融合机制。
• 可视化结果证实，KERL学习到了属性感知的特征图：对于'Sayornis'，模型始终突出显示喉部和翅膀，对应于'喉部：沙色与白色'和'翅膀：沙色与棕色'。
• 相比之下，基线CB-CNN产生散射或位于背景区域的激活，缺乏与相关属性的语义对齐。
• 由于特征图中突出区域与定义关键区分属性的知识图谱节点精确对应，该框架的可解释性得到显著增强。