[论文解读] CNN-RNN: A Unified Framework for Multi-label Image Classification

Jiang Wang, Yi Yang+4 more|arXiv (Cornell University)|Apr 15, 2016

Text and Document Classification Technologies参考文献 24被引用 206

一句话总结

本文提出一个 CNN-RNN 框架，联合建模图像特征与标签依赖关系用于多标签图像分类，从头端到端训练，并在公开基准数据集上显示优于现有方法。

ABSTRACT

While deep convolutional neural networks (CNNs) have shown a great success in single-label image classification, it is important to note that real world images generally contain multiple labels, which could correspond to different objects, scenes, actions and attributes in an image. Traditional approaches to multi-label image classification learn independent classifiers for each category and employ ranking or thresholding on the classification results. These techniques, although working well, fail to explicitly exploit the label dependencies in an image. In this paper, we utilize recurrent neural networks (RNNs) to address this problem. Combined with CNNs, the proposed CNN-RNN framework learns a joint image-label embedding to characterize the semantic label dependency as well as the image-label relevance, and it can be trained end-to-end from scratch to integrate both information in a unified framework. Experimental results on public benchmark datasets demonstrate that the proposed architecture achieves better performance than the state-of-the-art multi-label classification model

研究动机与目标

• 激励多标签图像分类，图像中包含多个对象/场景/属性。
• 通过显式建模标签依赖来解决独立分类器的局限性。
• 提出一个统一的 CNN-RNN 框架，学习联合的图像-标签嵌入。
• 实现从头端到端训练，以整合图像特征和标签关系。
• 展示在公开基准上相比最先进方法的性能提升。

提出的方法

• 整合卷积神经网络用于图像特征提取与循环神经网络以建模标签依赖。
• 学习联合的图像-标签嵌入，以捕捉标签之间的语义关系。
• 使用 RNN 按顺序预测或编码基于图像特征条件的标签信息。
• 将整个 CNN-RNN 模型从头端到端训练，以同时优化图像相关性和标签依赖。
• 利用端到端优化将图像-标签相关性与标签共现模式统一起来。

实验结果

研究问题

• RQ1 CNN-RNN 架构是否能够捕捉并利用图像中多个标签之间的依赖关系？
• RQ2 从头端到端训练是否通过统一图像特征和标签关系来提升多标签分类性能？
• RQ3 所提出的联合图像-标签嵌入是否比独立分类器后再阈值化或排序更有效？
• RQ4 与最先进方法相比， CNN-RNN 框架在公开多标签基准数据集上的表现如何？

主要发现

• CNN-RNN 框架有效地学习联合的图像-标签嵌入，编码标签依赖性和图像-标签相关性。
• 从头端到端训练同时优化特征提取和标签关系。
• 实验结果表明，该架构在公开基准上比最先进的多标签分类模型具有更好的性能。