[论文解读] Annotation Order Matters: Recurrent Image Annotator for Arbitrary Length Image Tagging

Jiren Jin, Hideki Nakayama|arXiv (Cornell University)|Apr 18, 2016

Image Retrieval and Classification Techniques参考文献 33被引用 20

一句话总结

本文提出了一种循环图像标注器（RIA），将图像标注问题建模为基于RNN的序列生成任务，从而实现基于图像内容的任意长度标签预测。关键贡献在于证明了训练过程中标签序列的排序对性能有决定性影响，其中‘稀有标签优先’的排序策略在所有数据集上均表现最佳。

ABSTRACT

Automatic image annotation has been an important research topic in facilitating large scale image management and retrieval. Existing methods focus on learning image-tag correlation or correlation between tags to improve annotation accuracy. However, most of these methods evaluate their performance using top-k retrieval performance, where k is fixed. Although such setting gives convenience for comparing different methods, it is not the natural way that humans annotate images. The number of annotated tags should depend on image contents. Inspired by the recent progress in machine translation and image captioning, we propose a novel Recurrent Image Annotator (RIA) model that forms image annotation task as a sequence generation problem so that RIA can natively predict the proper length of tags according to image contents. We evaluate the proposed model on various image annotation datasets. In addition to comparing our model with existing methods using the conventional top-k evaluation measures, we also provide our model as a high quality baseline for the arbitrary length image tagging task. Moreover, the results of our experiments show that the order of tags in training phase has a great impact on the final annotation performance.

研究动机与目标

• 为解决图像标注中固定长度top-k评估的局限性，该局限性无法反映真实世界中人类的标注行为。
• 提出一种新颖的序列生成方法用于图像标注，能够基于图像内容自然地预测可变长度的标签序列。
• 研究训练过程中标签序列排序对基于序列的图像标注模型性能的影响。
• 为新兴的任意长度图像标注任务建立一个高质量基线。

提出的方法

• 将图像标注建模为基于循环神经网络（RNN）的序列生成问题，条件依赖于CNN提取的图像特征。
• 使用预训练的CNN（GoogLeNet）提取图像级特征（fc7层）作为RNN的输入。
• 采用RNN解码器逐个生成标签，利用带隐藏状态上下文的自回归预测机制。
• 在训练中探索多种标签排序策略——词典顺序、随机顺序、高频优先、稀有优先，以评估其对模型泛化能力的影响。
• 在标签分类层应用dropout（0.5），并使用交叉熵损失实现端到端训练。
• 使用标准指标（精确率、召回率、F1）评估性能，并引入一种新型N+评分以评估每类性能。

实验结果

研究问题

• RQ1 训练过程中标签序列排序的选择如何影响基于序列的图像标注模型的性能？
• RQ2 循环模型能否有效生成反映不同图像语义丰富度的可变长度标签序列？
• RQ3 所提出的RIA模型在top-5和任意长度标注设置下，与最先进方法相比是否具备具有竞争力的性能？
• RQ4 是否存在一种特定的标签排序策略，能持续提升模型泛化能力和每类性能？

主要发现

• 在IAPR TC12和ESP Game数据集上，‘稀有标签优先’的标签排序策略在所有评估指标（精确率、召回率、F1）上均优于其他所有排序方式。
• 采用‘稀有标签优先’顺序训练的模型收敛更快，且在罕见标签上的每类召回率显著更高。
• ‘高频优先’排序表现较差，尤其在召回率和F1指标上，原因在于过度优先预测容易预测的高频标签，从而损害了对罕见标签的预测能力。
• RIA模型仅使用深度特征，即可实现与最先进方法相当的top-5性能，无需昂贵的度量学习或手工设计特征。
• 该模型在GPU上每张图像的推理时间仅为5 ms，相比基于KNN的基线模型展现出更高的推理效率。
• 本研究证实，标签序列顺序是基于序列的图像标注中的关键超参数，对模型性能有显著影响。