[论文解读] Fast Spectral Ranking for Similarity Search

Ahmet İşcen, Yannis Avrithis+3 more|HAL (Le Centre pour la Communication Scientifique Directe)|Mar 20, 2017

Advanced Image and Video Retrieval Techniques参考文献 58被引用 5

一句话总结

本文提出快速谱排序（FSR），通过离线预计算近似图傅里叶基，加速大规模图像检索中的流形感知相似性搜索。通过显式谱嵌入将流形搜索转换为高效的欧氏距离与点积搜索，FSR在Instre和Oxford105k等数据集上实现了最先进性能，查询时间与标准欧氏搜索相当，同时消除了在线图截断的需求。

ABSTRACT

Despite the success of deep learning on representing images for particular object retrieval, recent studies show that the learned representations still lie on manifolds in a high dimensional space. This makes the Euclidean nearest neighbor search biased for this task. Exploring the manifolds online remains expensive even if a nearest neighbor graph has been computed offline. This work introduces an explicit embedding reducing manifold search to Euclidean search followed by dot product similarity search. This is equivalent to linear graph filtering of a sparse signal in the frequency domain. To speed up online search, we compute an approximate Fourier basis of the graph offline. We improve the state of art on particular object retrieval datasets including the challenging Instre dataset containing small objects. At a scale of 10^5 images, the offline cost is only a few hours, while query time is comparable to standard similarity search.

研究动机与目标

• 为解决深度度量学习中在线流形搜索的高计算成本，特别是小物体检索场景下的问题。
• 降低依赖共轭梯度等迭代求解器的图基排序方法的查询时间。
• 通过近似傅里叶基计算将谱计算离线化，实现可扩展的低延迟相似性搜索。
• 通过避免在线图截断，提升检索mAP，克服先前方法中性能下降的问题。
• 提供一种通用、可扩展的相似性搜索框架，可泛化至图像检索之外的任务。

提出的方法

• 该方法将图像检索建模为谱域中的线性图滤波，利用转移函数在图上平滑稀疏查询信号。
• 通过随机奇异值分解（SVD）离线计算图拉普拉斯矩阵的近似傅里叶基，实现在大规模场景下的快速谱分解。
• 线性系统的解以闭式表达为 $ \mathbf{x} = U\Lambda^{-1}U^T\mathbf{y} $，其中 $ U $ 为近似特征向量矩阵。
• 采用两阶段相似性搜索：首先在嵌入空间中计算欧氏距离；其次通过点积相似性对结果进行排序。
• 提出 FSRw.approx 变体，通过稀疏化嵌入并使用乘积量化技术，将内存减少高达90%，mAP仅轻微下降。
• 该方法具有通用性与可解释性，与图信号处理、随机游走及核方法相关联。

实验结果

研究问题

• RQ1 我们能否通过预计算谱分量，加速流形感知相似性搜索，将在线查询成本降低至接近欧氏水平？
• RQ2 近似傅里叶基在实现可扩展、低延迟推理的同时，能多好地保持检索精度？
• RQ3 在压缩谱表示时，嵌入维度、稀疏性与mAP之间的权衡关系如何？
• RQ4 在Instre等挑战性数据集上，消除在线图截断是否能提升检索性能？
• RQ5 该方法能否泛化至相似性搜索之外的任务，如聚类或半监督学习？

主要发现

• 在Instre数据集上，FSR使用21×2048区域描述符实现89.2%的mAP，性能与先前最先进扩散方法相当，但查询时间显著更快。
• 在Oxford105k数据集上使用21×512描述符，FSRw.approx通过稀疏化实现90%的内存节省，mAP仅比完整方法下降0.2%。
• 采用64字节乘积量化后，FSR在Oxford105k上仍保持91.1%的mAP，表现出对描述符压缩的强鲁棒性。
• 该方法将查询时间降低至接近欧氏水平——与标准相似性搜索相当——同时优于在线共轭梯度求解器。
• 消除在线图截断使Oxford105k上的mAP提升3%，证明了完整流形探索的优势。
• 谱基的离线计算与数据集规模呈线性关系，处理10^5张图像仅需数小时，适用于大规模部署。