[论文解读] A novel image tag completion method based on convolutional neural network

Yanyan Geng, Zhang, Guohui+8 more|arXiv (Cornell University)|Mar 2, 2017

Image Retrieval and Classification Techniques参考文献 33被引用 5

一句话总结

本文提出了一种新颖的图像标签补全方法，利用卷积神经网络（CNNs）提取视觉特征，并采用线性预测器从不完整的标签中估计完整的标签向量。通过联合优化CNN权重、线性预测器参数和完整标签，基于约束最小化问题，该方法在Corel、Labelme和Flickr等基准数据集上的图像标注与检索任务中达到了最先进性能。

ABSTRACT

In the problems of image retrieval and annotation, complete textual tag lists of images play critical roles. However, in real-world applications, the image tags are usually incomplete, thus it is important to learn the complete tags for images. In this paper, we study the problem of image tag complete and proposed a novel method for this problem based on a popular image representation method, convolutional neural network (CNN). The method estimates the complete tags from the convolutional filtering outputs of images based on a linear predictor. The CNN parameters, linear predictor, and the complete tags are learned jointly by our method. We build a minimization problem to encourage the consistency between the complete tags and the available incomplete tags, reduce the estimation error, and reduce the model complexity. An iterative algorithm is developed to solve the minimization problem. Experiments over benchmark image data sets show its effectiveness.

研究动机与目标

• 解决现实应用中不完整图像标签带来的挑战，此类问题会阻碍有效的图像检索与标注。
• 通过利用深度卷积表示以获得更具判别性的视觉特征，提升标签补全性能。
• 构建一个统一的学习框架，联合优化CNN参数、线性预测器权重与完整标签分配。
• 引入正则化以确保预测标签与可用的不完整标签之间的一致性，同时促进视觉相似图像之间的标签向量相似性。
• 通过稀疏性约束与结构化优化，最小化模型复杂度与估计误差。

提出的方法

• 使用CNN从图像块中提取分层视觉特征，通过滤波器响应上的最大池化操作生成卷积表示向量。
• 应用线性预测器模型 $ \mathbf{t} = U\mathbf{y} - \mathbf{b} $，将CNN特征向量 $ \mathbf{y} $ 映射到完整的标签分配向量 $ \mathbf{t} $。
• 构建联合优化问题，利用掩码矩阵 $ \Phi $ 最小化预测标签与可用不完整标签之间的重构误差。
• 通过基于卷积相似性的方法，最小化视觉相似图像之间其标签预测的距离，以强化标签向量的一致性。
• 对标签分配向量施加稀疏性惩罚，以降低模型复杂度并提升泛化能力。
• 使用交替梯度下降算法求解非凸最小化问题，迭代更新CNN权重、线性预测器参数与标签矩阵。

实验结果

研究问题

• RQ1 与传统手工设计特征相比，基于CNN的视觉表示是否能提升图像标签补全的准确性？
• RQ2 一种联合优化框架（同时学习CNN参数、线性预测器与完整标签）在性能上有多高效？
• RQ3 在标签预测中引入图像间的视觉相似性，能在多大程度上提升性能？
• RQ4 引入稀疏性正则化是否能改善泛化能力并减少过拟合？
• RQ5 所提出方法在图像标注与基于标签的图像检索任务中，与当前最先进方法相比表现如何？

主要发现

• 在Corel数据集上，该方法的Precision@5达到0.47，优于现有方法如Lin等人（0.35）和Li等人（0.44）。
• 在Labelme数据集上，该方法的Precision@5达到0.30，超过Wu等人（0.23）和Li等人（0.25）。
• 在Flickr数据集上，该方法的Precision@5达到0.28，优于Feng等人（0.20）和Lin等人（0.23）。
• 在图像检索任务中，该方法在Corel数据集上达到Pos@Top分数0.73，优于Lin等人（0.64）和Li等人（0.68）。
• 在Corel数据集上，交替梯度下降算法在40次迭代内收敛，表明优化过程稳定且高效。