[论文解读] Large-scale Image Geo-Localization Using Dominant Sets

Eyasu Zemene, Yonatan Tariku+4 more|arXiv (Cornell University)|Feb 4, 2017

Advanced Image and Video Retrieval Techniques参考文献 4被引用 4

一句话总结

本文提出了一种基于主导集聚类（DSC）的快速且精确的大规模图像地理定位框架，通过鲁棒的特征匹配与约束聚类实现。通过基于特征区分度的动态选择多个最近邻，并利用高效的博弈论动态机制，该方法在10.2万张和30万张图像数据集上分别相比最先进方法实现了20%和7%的准确率提升，同时比以往方法快200倍。

ABSTRACT

This paper presents a new approach for the challenging problem of geo-locating an image using image matching in a structured database of city-wide reference images with known GPS coordinates. We cast the geo-localization as a clustering problem on local image features. Akin to existing approaches on the problem, our framework builds on low-level features which allow partial matching between images. For each local feature in the query image, we find its approximate nearest neighbors in the reference set. Next, we cluster the features from reference images using Dominant Set clustering, which affords several advantages over existing approaches. First, it permits variable number of nodes in the cluster which we use to dynamically select the number of nearest neighbors (typically coming from multiple reference images) for each query feature based on its discrimination value. Second, as we also quantify in our experiments, this approach is several orders of magnitude faster than existing approaches. Thus, we obtain multiple clusters (different local maximizers) and obtain a robust final solution to the problem using multiple weak solutions through constrained Dominant Set clustering on global image features, where we enforce the constraint that the query image must be included in the cluster. This second level of clustering also bypasses heuristic approaches to voting and selecting the reference image that matches to the query. We evaluated the proposed framework on an existing dataset of 102k street view images as well as a new dataset of 300k images, and show that it outperforms the state-of-the-art by 20% and 7%, respectively, on the two datasets.

研究动机与目标

• 解决使用视觉特征进行精确且高效的大规模图像地理定位的挑战。
• 克服现有方法依赖固定最近邻数量和启发式投票方案的局限性。
• 为已知GPS坐标的城市场景图像匹配开发一种可扩展、快速且鲁棒的解决方案。
• 根据特征的区分能力，为每个查询特征动态选择最近邻，以提升匹配准确率。
• 提出一种约束DSC框架，确保查询图像被包含在最终聚类中，从而绕过启发式投票。

提出的方法

• 使用主导集聚类（DSC）对参考图像中的局部特征进行分组，实现可变聚类大小并具备鲁棒的异常值处理能力。
• 应用感染-免疫动力学（InImDyn）求解DSC问题，实现线性时间/空间复杂度，从而实现高达200倍的速度提升。
• 根据特征区分度，为每个查询特征动态选择多个最近邻——对模糊特征选择更多邻居，对清晰特征选择更少邻居。
• 采用查询约束DSC公式，将多个局部最大值合并为单一鲁棒解，确保查询图像被包含在最终聚类中。
• 基于归一化相似度得分，对全局特征（如NetVLAD、GIST、HSV）进行加权融合，构建用于后处理的判别性输入图。
• 可将DSC后处理步骤与任意检索流水线集成，平均每个查询增加延迟不足0.003秒。

实验结果

研究问题

• RQ1 基于特征区分度的自适应最近邻选择能否提升地理定位准确率？
• RQ2 基于博弈论动态的主导集聚类能否在速度和准确率上超越NP难的GMCP公式？
• RQ3 包含查询图像的约束DSC方法是否能消除对启发式投票方案的需求？
• RQ4 融合多种全局特征在多大程度上能提升后处理步骤的性能？
• RQ5 所提出的方法在大规模数据集（如30万张图像）上能否有效扩展，同时保持高准确率和低延迟？

主要发现

• 所提方法在10.2万张Google街景图像数据集上相比最先进方法实现了20%的准确率提升。
• 在更大的30万张图像WorldCities数据集上，该方法相比先前方法实现了7%的准确率提升。
• 由于高效的InImDyn动态机制和线性松弛，该框架平均比基于GMCP的方法快200倍。
• 将约束DSC后处理应用于现有检索流水线，可将rank-1准确率提升最多7%，且每个查询增加延迟不足0.003秒。
• 基于特征区分能力融合多种全局特征（NetVLAD、CNN6、CNN7、GIST、HSV）的性能优于单独使用任一特征。
• 约束DSC方法通过直接强制将查询图像包含在最终聚类中，成功绕过了启发式投票，从而获得更鲁棒且一致的结果。