[论文解读] Deep Convolutional Ranking for Multilabel Image Annotation

Yunchao Gong, Yangqing Jia+3 more|arXiv (Cornell University)|Dec 17, 2013

Advanced Image and Video Retrieval Techniques参考文献 37被引用 269

一句话总结

本文提出了一种用于多标签图像标注的深度卷积排序框架，利用 top-k 排序损失（特别是 WARP）来提升传统特征的性能。在 NUS-WIDE 数据集上，该方法使用基于排序目标训练的 CNN 特征，在检索指标上相比之前的方法提升了约 10%，达到了当前最优性能。

ABSTRACT

Multilabel image annotation is one of the most important challenges in computer vision with many real-world applications. While existing work usually use conventional visual features for multilabel annotation, features based on Deep Neural Networks have shown potential to significantly boost performance. In this work, we propose to leverage the advantage of such features and analyze key components that lead to better performances. Specifically, we show that a significant performance gain could be obtained by combining convolutional architectures with approximate top-$k$ ranking objectives, as thye naturally fit the multilabel tagging problem. Our experiments on the NUS-WIDE dataset outperforms the conventional visual features by about 10%, obtaining the best reported performance in the literature.

研究动机与目标

• 通过用深度神经网络表示替换传统视觉特征，提升多标签图像标注的性能。
• 研究不同基于排序的损失函数对深度网络中多标签预测的影响。
• 证明 top-k 排序目标（尤其是 WARP）比标准 Softmax 或成对排序损失更适合多标签标注任务。
• 在大规模 NUS-WIDE 多标签图像基准上实现最先进性能。

提出的方法

• 采用与 Krizhevsky 等人（2012）相似的深度卷积神经网络架构，包含五个卷积层和三个全连接层。
• 使用针对多标签任务的损失函数进行网络训练，包括成对排序损失、交叉熵（Tagprop）以及 top-k 排序损失。
• 采用加权近似排序（WARP）损失以优化 top-k 预测准确率，该方法能更好地处理类别不平衡和稀有标签问题。
• 使用包含 269,000 张图像和 81 个多标签的 NUS-WIDE 数据集进行训练与评估。
• 通过在 k=3 和 k=5 时的每类及总体召回率/精确率来评估性能，并通过随机采样真实标签定义了一个启发式上限。

实验结果

研究问题

• RQ1 使用 top-k 排序损失的深度卷积网络能否在多标签图像标注中超越传统视觉特征？
• RQ2 不同基于排序的损失函数在优化多标签预测方面表现如何比较，尤其是在稀有类别性能方面？
• RQ3 在多标签设置中，WARP 损失是否显著优于 Softmax 和成对排序损失？
• RQ4 网络性能在多大程度上依赖于标签频率？排序损失是否能缓解稀有标签上的性能不佳问题？

主要发现

• 所提出的方法使用 WARP 损失在 NUS-WIDE 数据集上实现了报告的最佳性能，相比传统视觉特征在检索指标上提升了约 10%。
• 在 k=3 时，WARP 实现了 52.03% 的每类召回率和 22.31% 的每类精确率，显著优于 Softmax（48.24% 召回率，21.98% 精确率）。
• WARP 在稀有标签上表现更优，相比其他损失函数，其每类召回率和精确率更高，尤其在不频繁类别上优势明显。
• 结果表明，像 WARP 这样的 top-k 排序目标比标准 Softmax 或成对排序更适用于多标签标注任务。
• 即使在启发式上限下，模型在 k=5 时仍实现了 97.53% 的总体召回率和 36.16% 的总体精确率，表明其具有强大的泛化能力。