[论文解读] Embedding based on function approximation for large scale image search

Thanh-Toan Do, Ngai‐Man Cheung|arXiv (Cornell University)|May 23, 2016

Advanced Image and Video Retrieval Techniques参考文献 43被引用 6

一句话总结

本文提出 FAemb，一种新颖的嵌入方法，通过在高维空间中使用函数逼近来泛化 VLAD 和 TLCC，从而近似非线性函数。该方法在图像检索基准测试中达到最先进性能，在 Holidays 数据集上 mAP 达 86.8，在 Oxford5k 上达 70.3（使用 SIFT 特征），并提出了一个快速闭式版本，适用于大规模应用。

ABSTRACT

The objective of this paper is to design an embedding method that maps local features describing an image (e.g. SIFT) to a higher dimensional representation useful for the image retrieval problem. First, motivated by the relationship between the linear approximation of a nonlinear function in high dimensional space and the stateof-the-art feature representation used in image retrieval, i.e., VLAD, we propose a new approach for the approximation. The embedded vectors resulted by the function approximation process are then aggregated to form a single representation for image retrieval. Second, in order to make the proposed embedding method applicable to large scale problem, we further derive its fast version in which the embedded vectors can be efficiently computed, i.e., in the closed-form. We compare the proposed embedding methods with the state of the art in the context of image search under various settings: when the images are represented by medium length vectors, short vectors, or binary vectors. The experimental results show that the proposed embedding methods outperform existing the state of the art on the standard public image retrieval benchmarks.

研究动机与目标

• 开发一种统一的嵌入框架，通过在高维空间中利用函数逼近，泛化 VLAD 和 TLCC 等现有方法。
• 通过推导嵌入方法的闭式、快速版本，解决大规模图像检索中的计算瓶颈。
• 通过学习更具判别性的表示，提升使用局部特征（如 SIFT 和 CNN）的图像检索性能。
• 通过函数逼近建立 VLAD 与 TLCC 之间的理论联系，表明 VLAD 是 TLCC 的简化变体。
• 通过单向量表示最小化存储和距离计算开销，实现高效的大规模检索。

提出的方法

• 提出 FAemb 作为 VLAD 和 TLCC 的泛化方法，通过在高维空间中使用基函数的线性组合来逼近非线性函数 $ f({\mathbf{x}}) $。
• 使用坐标编码 $ \gamma({\mathbf{x}}) $，结合锚点 $ {\mathbf{v}}_j $，将局部描述子映射为高维向量，确保 $ \sum_j \gamma_{{\mathbf{v}}_j}({\mathbf{x}}) = 1 $。
• 采用基于泰勒展开的逼近方法：$ f({\mathbf{x}}) \approx \sum_{j} \gamma_{{\mathbf{v}}_j}({\mathbf{x}}) \sum_{|\alpha| \leq k} \frac{\partial^\alpha f({\mathbf{v}}_j)}{\alpha!} ({\mathbf{x}} - {\mathbf{v}}_j)^\alpha $，误差由 $ \frac{M}{(k+1)!} \sum_j |\gamma_{{\mathbf{v}}_j}({\mathbf{x}})| \|{\mathbf{x}} - {\mathbf{v}}_j\|_1^{k+1} $ 限定。
• 推导出快速版本 F-FAemb，通过预计算基函数和权重，实现嵌入的闭式计算，支持高效的大规模部署。
• 将该嵌入方法应用于局部特征（SIFT、CNN），并通过标准池化或平均操作聚合为单个向量。
• 在标准图像检索基准（Holidays、Oxford5k）上评估性能，使用完整图像和裁剪查询，覆盖不同向量长度。

实验结果

研究问题

• RQ1 能否通过高维空间中的函数逼近，开发出统一的框架，泛化 VLAD 和 TLCC？
• RQ2 在不同向量长度下，所提出的 FAemb 方法与最先进嵌入方法相比，检索准确率如何？
• RQ3 能否推导出嵌入方法的闭式、快速版本，以实现高效的大规模图像检索？
• RQ4 在标准基准上使用 SIFT 和 CNN 特征时，所提出方法是否优于现有方法？
• RQ5 表示长度（如 256、1024、7245 维）对所提方法的检索性能有何影响？

主要发现

• FAemb 在 Holidays 数据集上使用 SIFT 特征实现 mAP 86.8，在 Oxford5k 上（裁剪查询）实现 mAP 70.3，优于最先进方法。
• 在 Oxford5k 数据集上，F-FAemb 在 D=7,245 时实现 mAP 66.1，优于 CKN，接近基于 CNN 的方法，同时每张图像仅使用单一表示。
• 快速版本 F-FAemb 实现了嵌入的闭式计算，相比 R-MAC 等基于块的方法，显著降低了存储和距离计算成本。
• 在短表示长度下（如 D=256），F-FAemb 在 Holidays 上实现 mAP 74.0，在 Oxford5k 上实现 mAP 45.6，表现出对降维的鲁棒性。
• 在 Holidays 数据集上，使用通用图像时，F-FAemb 搭配 CNN 特征优于 SIFT；而在 Oxford5k 上，针对特定物体（如建筑物）时，SIFT 表现更优。
• 理论分析证实，VLAD 是 TLCC 的简化版本，而 FAemb 通过函数逼近统一了两者的底层原理，实现对两者的泛化。