[论文解读] Learning Structured Inference Neural Networks with Label Relations

Hexiang Hu, Guang-Tong Zhou+3 more|arXiv (Cornell University)|Nov 17, 2015

Advanced Image and Video Retrieval Techniques参考文献 32被引用 11

一句话总结

该论文提出了一种结构化推理神经网络（SINN），通过在标签图上采用堆叠的双向传播机制建模标签依赖关系，利用图像分类中的分层和跨层级标签关系。该方法在多个基准数据集上显著提升了性能，特别是在引入部分观测标签时，mAP 和 MCAcc 分别比当前最先进基线模型高出 6% 和 4%，尤其在细粒度场景识别任务中表现突出。

ABSTRACT

Images of scenes have various objects as well as abundant attributes, and diverse levels of visual categorization are possible. A natural image could be assigned with fine-grained labels that describe major components, coarse-grained labels that depict high level abstraction or a set of labels that reveal attributes. Such categorization at different concept layers can be modeled with label graphs encoding label information. In this paper, we exploit this rich information with a state-of-art deep learning framework, and propose a generic structured model that leverages diverse label relations to improve image classification performance. Our approach employs a novel stacked label prediction neural network, capturing both inter-level and intra-level label semantics. We evaluate our method on benchmark image datasets, and empirical results illustrate the efficacy of our model.

研究动机与目标

• 通过建模层次结构、包含关系和排除关系等复杂多级标签关系，提升图像分类性能。
• 开发一种深度学习框架，通过结构化推理联合预测分层视觉标签（从粗粒度到细粒度）。
• 通过将人类提供的高层标签整合到推理过程中，提升在部分标签可观测场景下的性能。
• 将标准 CNN 基分类方法扩展为引入外部知识（如 WordNet 或分类图）所导出的结构化约束。

提出的方法

• 该方法采用一种新颖的堆叠标签预测神经网络，其中每个标签在标签关系图中表示为一个节点，激活信息在概念层级间双向传播。
• 基于 CNN 特征激活标签节点，并通过连接粗粒度到细粒度标签的堆叠层建模跨层级依赖关系。
• 网络采用类似 RNN 的机制，在标签图上异步传播信息，通过迭代消息传递逐步优化预测结果。
• 将外部标签关系（如来自 WordNet 的关系）作为图结构集成，编码正负相关性和语义层次结构。
• 通过联合推理过程同时优化所有标签得分，确保概念层级间的一致性。
• 框架采用标准交叉熵损失端到端训练，且可扩展以处理作为输入约束的部分观测标签。

实验结果

研究问题

• RQ1 在多标签和多粒度设置下，建模分层和跨层级标签关系是否能提升图像分类性能？
• RQ2 当仅提供部分标签时，使用标签图的结构化推理如何影响性能表现？
• RQ3 具备双向标签传播机制的深度神经网络在多大程度上能超越标准 CNN 和多标签基线模型？
• RQ4 在零样本或少样本图像分类任务中，引入 WordNet 分类体系等外部知识是否能带来稳定性能提升？

主要发现

• 在 AWA 数据集上，所提出的 SINN 模型相较于 CNN + Logistics 基线，MCAcc 提升 2.28%，mAP_L 提升 1.21%。
• 在 NUS-WIDE 数据集上，SINN 相较于基线模型，MCAcc 提升 2.32%，mAP_L 提升 1.41%，IoUAcc 显著提高。
• 在 SUN397 数据集上，SINN 达到 57.60% 的 MCAcc，优于 CNN + Logistics 基线（57.86% MCAcc）和 CNN + BINN（57.52% MCAcc），mAP_L 提升 2.69%。
• 当将部分观测标签（室内/室外）作为输入时，SINN 相较于最佳基线，MCAcc 提升 4%，mAP_L 提升 6%，分别达到 63.46% MCAcc 和 64.63% mAP_L。
• 该模型在不同标签粒度水平的数据集上表现出稳健性和一致性，尤其在细粒度分类任务中收益最为显著。
• 可视化结果表明，SINN 有效纠正了标准模型在模糊或复杂场景中的错误预测。