[论文解读] DISA at ImageCLEF 2014 Revised: Search-based Image Annotation with DeCAF Features

Petra Budíková, Jan Botorek+2 more|arXiv (Cornell University)|Sep 16, 2014

Image Retrieval and Classification Techniques参考文献 11被引用 5

一句话总结

该论文提出了一种基于改进搜索的图像标注系统，利用DeCAF特征进行视觉相似性搜索，显著提升了先前方法的标注准确率。通过将DeCAF特征与检索图像元数据的语义分析相结合，该系统在ImageCLEF 2014可扩展概念图像标注任务中，各项指标上均实现了10-20%的性能提升，展现出卓越的可扩展性和适应性。

ABSTRACT

This paper constitutes an extension to the report on DISA-MU team participation in the ImageCLEF 2014 Scalable Concept Image Annotation Task as published in [3]. Specifically, we introduce a new similarity search component that was implemented into the system, report on the results achieved by utilizing this component, and analyze the influence of different similarity search parameters on the annotation quality.

研究动机与目标

• 通过用DeCAF特征替代传统视觉描述符，提升大规模图像集合中的视觉相似性搜索质量，从而改进基于搜索的图像标注方法。
• 评估基于DeCAF的视觉相似性对大规模、概念可扩展图像标注质量的影响。
• 分析语义分析流程中关键参数对最终标注性能的影响。
• 证明系统在无需重新训练的情况下，能够适应不同数据集和概念列表。
• 提供一种接近实时、可扩展的解决方案，适用于现实世界应用中动态变化的概念集合。

提出的方法

• 利用DeCAF卷积神经网络特征，在大规模图像集合中进行视觉相似性搜索。
• 从两个数据集（2000万张的Profiset集合和50万张的SCIA训练集）中检索出最相似的k张图像。
• 从检索到的图像中提取文本元数据（关键词），并将词汇映射到WordNet同义词集。
• 应用语义关系（上下位关系、下位关系、整体-部分关系、部分-整体关系）以扩展并加权同义词集的相关性。
• 基于语义图结构和初始词频计算同义词集的相关性概率。
• 选择与候选概念关联的排名靠前的同义词集作为最终的图像标注。

实验结果

研究问题

• RQ1 将传统视觉描述符替换为DeCAF特征后，对基于搜索的图像标注性能有何影响？
• RQ2 为最大化标注质量，相似性搜索参数（如相似图像数量、同义词集选择阈值）的最佳配置是什么？
• RQ3 在与DeCAF特征结合时，不同语义关系（如上下位关系、下位关系）如何影响最终的标注结果？
• RQ4 参考图像集合的选择（如Profiset与SCIA训练集）在多大程度上影响系统性能和参数调优？
• RQ5 在不重新训练的情况下，基于DeCAF的系统是否能在ImageCLEF 2014 SCIA任务中超越其他基于神经网络的方法？

主要发现

• 与使用MPEG-7特征的原始DISA系统相比，基于DeCAF的系统在所有评估指标上均实现了10-20%的性能提升。
• 表现最佳的配置使用每词7个候选同义词集，并以Profiset 2000万张图像集合构建初始100个同义词集。
• 结合WordNet语义关系（上下位关系、下位关系、整体-部分关系、部分-整体关系）后，测试集的F1-macro得分提升至61.1%。
• 系统实现了接近实时的性能，平均每张图像的标注耗时为4-5秒。
• 初始同义词集的最优数量因数据集而异：Profiset 2000万张为100个，Profiset 50万张和200万张为150个，SCIA 50万张数据集为200个。
• 基于DeCAF的相似性搜索产生了更具语义相关性的结果，减少了噪声，提高了效率，使得可处理的初始同义词集数量更少。