[论文解读] SIFT Meets CNN: A Decade Survey of Instance Retrieval

Liang Zheng, Yi Yang+1 more|arXiv (Cornell University)|Aug 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 179被引用 30

一句话总结

本综述全面回顾了过去十年中实例检索方法的发展，对比了基于SIFT的方法（按词袋大小分类）与基于CNN的方法（按特征提取策略分类：预训练、微调或混合）。研究发现，CNN微调是最有效的策略，兼具高精度与高效率，并指出向端到端学习和紧凑表示的转变趋势。

ABSTRACT

In the early days, content-based image retrieval (CBIR) was studied with global features. Since 2003, image retrieval based on local descriptors (de facto SIFT) has been extensively studied for over a decade due to the advantage of SIFT in dealing with image transformations. Recently, image representations based on the convolutional neural network (CNN) have attracted increasing interest in the community and demonstrated impressive performance. Given this time of rapid evolution, this article provides a comprehensive survey of instance retrieval over the last decade. Two broad categories, SIFT-based and CNN-based methods, are presented. For the former, according to the codebook size, we organize the literature into using large/medium-sized/small codebooks. For the latter, we discuss three lines of methods, i.e., using pre-trained or fine-tuned CNN models, and hybrid methods. The first two perform a single-pass of an image to the network, while the last category employs a patch-based feature extraction scheme. This survey presents milestones in modern instance retrieval, reviews a broad selection of previous works in different categories, and provides insights on the connection between SIFT and CNN-based methods. After analyzing and comparing retrieval performance of different categories on several datasets, we discuss promising directions towards generic and specialized instance retrieval.

研究动机与目标

• 提供2003年至2016年期间实例检索方法的全面、结构化综述，涵盖基于SIFT和基于CNN的方法。
• 分析实例检索技术的演变过程，特别是从基于SIFT的词袋模型向基于深度学习的CNN方法的转变。
• 在基准数据集上对比不同类别SIFT与CNN方法的检索性能。
• 识别通用与专用实例检索中的关键挑战及有前景的研究方向。
• 突出CNN微调在精度与效率方面相较于其他方法的优势。

提出的方法

• 根据词袋大小将基于SIFT的方法分为三类：大、中、小，反映不同粒度的词汇表与计算成本。
• 将基于CNN的方法分为三类：(1) 使用预训练模型，(2) 微调预训练模型，(3) 混合方法，即利用CNN提取图像块级特征。
• 回顾经典基于SIFT的方法，如词袋（BoW）、分层k均值、近似k均值以及哈希嵌入，以实现高效索引。
• 分析使用全局图像特征的基于CNN的方法，包括从预训练网络（如AlexNet）的全连接层提取的特征。
• 分析提取图像块中多个CNN特征的混合方法，其设计模仿SIFT的局部特征范式。
• 使用Oxford、Paris和UKBench等标准基准数据集评估方法，通过mAP和召回率等标准指标比较性能。

实验结果

研究问题

• RQ1 在过去十年中，基于SIFT与基于CNN的实例检索方法在性能与设计方面如何演变？
• RQ2 在基于SIFT的检索中，大、中、小词袋方法各自的优缺点是什么？
• RQ3 在检索精度与计算效率方面，预训练、微调与混合型CNN方法有何差异？
• RQ4 在何种场景下SIFT仍优于基于CNN的方法？原因是什么？
• RQ5 未来通用与专用实例检索任务中最具前景的研究方向是什么？

主要发现

• CNN微调在多个基准数据集上持续取得最先进性能，优于预训练模型与基于SIFT的BoW方法。
• 混合型CNN方法（提取块级特征）表现出色，是传统SIFT方法与现代深度学习方法之间的桥梁。
• 尽管CNN兴起，SIFT在灰度图像、高饱和度物体或小尺寸/遮挡物体等特定场景中仍具有效性，因其对颜色与空间变化具有更强鲁棒性。
• 紧凑表示（尤其是短向量CNN特征）日益流行且高效，可在极低计算成本下实现高效检索。
• 在微调过程中使用三元组损失与成对损失可显著提升特征判别能力，从而增强检索精度。
• 未来实例检索系统预计将向端到端学习演进，采用更优架构与数据高效训练策略，以支持通用与专用任务。