[论文解读] Coarse2Fine: Two-Layer Fusion For Image Retrieval

Gaipeng Kong, Le Dong+3 more|arXiv (Cornell University)|Jul 4, 2016

Advanced Image and Video Retrieval Techniques参考文献 50被引用 4

一句话总结

本文提出 Coarse2Fine (C2F)，一种用于大规模图像检索的两层融合框架，通过首先使用整体表示（HSV直方图）过滤干扰项，再利用基于全局相似度得分自适应加权的局部特征（SIFT）进行结果精炼，从而在显著降低内存和计算成本的同时，提升效率与准确性。该方法在准确率上达到当前最优水平，相较于现有融合方法，其内存与计算开销大幅减少。

ABSTRACT

This paper addresses the problem of large-scale image retrieval. We propose a two-layer fusion method which takes advantage of global and local cues and ranks database images from coarse to fine (C2F). Departing from the previous methods fusing multiple image descriptors simultaneously, C2F is featured by a layered procedure composed by filtering and refining. In particular, C2F consists of three components. 1) Distractor filtering. With holistic representations, noise images are filtered out from the database, so the number of candidate images to be used for comparison with the query can be greatly reduced. 2) Adaptive weighting. For a certain query, the similarity of candidate images can be estimated by holistic similarity scores in complementary to the local ones. 3) Candidate refining. Accurate retrieval is conducted via local features, combining the pre-computed adaptive weights. Experiments are presented on two benchmarks, \emph{i.e.,} Holidays and Ukbench datasets. We show that our method outperforms recent fusion methods in terms of storage consumption and computation complexity, and that the accuracy is competitive to the state-of-the-arts.

研究动机与目标

• 解决在使用局部特征进行大规模图像检索时存储与计算成本过高的挑战。
• 通过结合整体表示与局部描述子的优势，提升检索准确率。
• 通过在检索流程早期过滤不相似图像，降低内存消耗与查询时间。
• 通过自适应加权候选图像，实现在不同数据库规模下性能的稳定性。
• 在计算复杂度低于查询自适应或并行融合方法的前提下，实现具有竞争力的准确率。

提出的方法

• 该方法使用整体HSV直方图从数据库中过滤掉干扰图像，显著减少后续处理的候选数量。
• 基于候选图像与查询的全局相似度得分，为其计算自适应权重，确保相关图像获得优先处理。
• 采用两阶段流程：首先通过全局特征进行粗粒度过滤；其次在过滤后的候选集上使用局部SIFT特征进行细粒度排序。
• 自适应加权机制在基于局部特征的检索过程中动态调整每个候选图像的影响，从而提升排序准确率。
• 该框架设计具有高效可扩展性，候选集大小K通过控制以平衡准确率与计算成本。
• 该方法通过仅对过滤后的候选池进行计算，避免存储所有图像的完整特征向量。

实验结果

研究问题

• RQ1 结合整体特征与局部特征的两层融合策略，是否能在降低计算与存储成本的同时提升检索准确率？
• RQ2 使用整体表示进行过滤，如何影响大规模图像检索的效率与准确率？
• RQ3 与均匀加权或非加权融合相比，候选图像的自适应加权在多大程度上能提升检索性能？
• RQ4 当引入干扰项时，该方法在数据库规模增大情况下的可扩展性如何？
• RQ5 所提出的框架是否能在准确率与效率两方面均优于查询自适应融合及其他当前最优方法？

主要发现

• 在Holidays数据集上，C2F在1,000个候选图像下实现了82.25%的平均平均精度（mAP），相较于查询自适应融合方法[11]提高了3.31%的准确率。
• 当在Holidays数据集中加入100,000张干扰图像后，C2F的mAP相比干净数据集下降了12.63%，表明其对噪声数据较为敏感。
• 通过仅对小规模候选集（如K=1,000）进行处理，该方法显著降低了内存消耗与查询时间，即使数据库规模增大也保持高效。
• C2F保持了高效率：平均查询时间与内存使用量随候选数量增长而稳定上升，即使在K=1,000,000时仍保持可管理状态。
• 自适应加权机制通过在局部特征精炼阶段优先处理高相似度候选图像，提升了检索准确率。
• 可视化结果表明，当查询包含模糊内容（如绿植与瀑布）时，错误仍持续存在，反映出表示学习的局限性。