[论文解读] Multi-Label Image Classification with Regional Latent Semantic Dependencies

Junjie Zhang, Qi Wu+3 more|arXiv (Cornell University)|Dec 4, 2016

Text and Document Classification Technologies参考文献 7被引用 16

一句话总结

该论文提出了一种区域潜在语义依赖（RLSD）模型，用于多标签图像分类，通过区域提议和RNN在区域层面捕捉标签依赖关系。通过定位语义相关的细小对象，并利用循环网络建模其共现关系，RLSD在MS-COCO和NUS-WIDE数据集上实现了最先进性能，尤其在小物体识别方面表现优异，且在训练过程中无需边界框标注。

ABSTRACT

Deep convolution neural networks (CNN) have demonstrated advanced performance on single-label image classification, and various progress also have been made to apply CNN methods on multi-label image classification, which requires to annotate objects, attributes, scene categories etc. in a single shot. Recent state-of-the-art approaches to multi-label image classification exploit the label dependencies in an image, at global level, largely improving the labeling capacity. However, predicting small objects and visual concepts is still challenging due to the limited discrimination of the global visual features. In this paper, we propose a Regional Latent Semantic Dependencies model (RLSD) to address this problem. The utilized model includes a fully convolutional localization architecture to localize the regions that may contain multiple highly-dependent labels. The localized regions are further sent to the recurrent neural networks (RNN) to characterize the latent semantic dependencies at the regional level. Experimental results on several benchmark datasets show that our proposed model achieves the best performance compared to the state-of-the-art models, especially for predicting small objects occurred in the images. In addition, we set up an upper bound model (RLSD+ft-RPN) using bounding box coordinates during training, the experimental results also show that our RLSD can approach the upper bound without using the bounding-box annotations, which is more realistic in the real world.

研究动机与目标

• 解决在多标签图像分类中准确预测小物体和视觉概念的挑战。
• 不仅在全局图像层面，也在区域层面建模标签依赖关系，以提升语义理解能力。
• 开发一种在训练过程中无需依赖边界框标注的方法，增强实际应用可行性。
• 超越现有最先进模型，尤其在细粒度和小尺度视觉概念的预测方面表现更优。

提出的方法

• 模型使用全卷积网络从输入图像中提取特征。
• 一个类似区域提议网络（RPN）的模块用于定位可能包含多个语义相关标签的候选区域。
• 通过全连接网络对定位到的区域进行编码，并输入循环神经网络（RNN），以在区域层面建模标签之间的潜在语义依赖关系。
• RNN按顺序处理区域特征，基于先前预测的上下文生成多标签预测。
• 通过最大池化操作融合所有区域的预测，生成最终的多标签输出。
• 模型采用交叉熵损失或排序损失进行端到端训练；同时评估了一种使用真实边界框进行微调的上限变体（RLSD+ft-RPN）以进行对比。

实验结果

研究问题

• RQ1 在区域层面建模标签依赖关系是否能提升多标签图像分类性能，尤其是在小物体识别方面？
• RQ2 与全局特征建模相比，区域特征建模在捕捉语义共现模式方面表现如何？
• RQ3 在训练过程中无需边界框标注的情况下，模型能达到多高的性能水平？
• RQ4 当训练时提供边界框标注时，所提出的RLSD模型在多大程度上能接近性能上限？

主要发现

• 在MS-COCO数据集上，RLSD达到60.3%的O-F1和54.1%的mAP，分别比CNN-RNN高出5.1%和4.9%。
• 对于'bird'、'fire hydrant'和'kite'等小物体，RLSD在精确率-召回率曲线上显著优于基线模型。
• 在NUS-WIDE数据集上，RLSD达到60.3%的O-F1和54.1%的mAP，分别比之前最先进方法CNN-RNN高出4.9%。
• RLSD+ft-RPN变体（训练时使用真实边界框）达到68.2%的O-F1，表明RLSD在无边界框标注的情况下也能接近性能上限。
• 与CNN+LSTM相比，该模型在小物体上实现了更高的召回率，表明对细粒度和小尺度视觉概念具有更强的敏感性。
• 定性结果表明，RLSD成功预测了其他模型遗漏的小物体，如'bottle'、'vase'和'wine glass'。