[论文解读] Robust Image Retrieval-based Visual Localization using Kapture

Martin Humenberger, Yohann Cabon+8 more|arXiv (Cornell University)|Jul 27, 2020

Robotics and Sensor-Based Localization参考文献 54被引用 20

一句话总结

本论文在Aachen Day-Night v1.1基准上评估了R2D2、SuperGlue及其他特征检测器在不同全局描述符配置下的鲁棒视觉定位性能。结果表明，采用GHARM-50与config2配置的R2D2在所有距离区间中均实现了92.45%的最高平均准确率，无论在白天还是夜间条件下均优于其他方法，凸显了学习得到的局部特征与强大全局描述符结合在复杂视觉定位任务中的有效性。

ABSTRACT

Visual localization tackles the challenge of estimating the camera pose from images by using correspondence analysis between query images and a map. This task is computation and data intensive which poses challenges on thorough evaluation of methods on various datasets. However, in order to further advance in the field, we claim that robust visual localization algorithms should be evaluated on multiple datasets covering a broad domain variety. To facilitate this, we introduce kapture, a new, flexible, unified data format and toolbox for visual localization and structure-from-motion (SFM). It enables easy usage of different datasets as well as efficient and reusable data processing. To demonstrate this, we present a versatile pipeline for visual localization that facilitates the use of different local and global features, 3D data (e.g. depth maps), non-vision sensor data (e.g. IMU, GPS, WiFi), and various processing algorithms. Using multiple configurations of the pipeline, we show the great versatility of kapture in our experiments. Furthermore, we evaluate our methods on eight public datasets where they rank top on all and first on many of them. To foster future research, we release code, models, and all datasets used in this paper in the kapture format open source under a permissive BSD license. github.com/naver/kapture, github.com/naver/kapture-localization

研究动机与目标

• 评估视觉定位方法在Aachen Day-Night v1.1基准中昼夜变化复杂条件下的鲁棒性。
• 比较不同局部特征检测器（如R2D2、Fast-R2D2、ASLFeat）与不同全局描述符（如GHARM、APGeM、NetVLAD、DELG）组合的性能表现。
• 识别在不同光照与视角条件下实现高精度视觉定位的最优局部与全局特征组合配置。
• 评估不同全局描述符类型及训练配置对真实室外环境中定位性能的影响。

提出的方法

• 本研究采用Aachen Day-Night v1.1基准，该数据集为大规模室外数据集，包含同一场景的白天与夜间图像。
• 评估多种局部特征检测器（R2D2、Fast-R2D2、ASLFeat、D2-Net）与不同全局描述符配置（GHARM、APGeM、NetVLAD、DELG、DenseVLAD）的组合性能。
• 关键点匹配通过SuperGlue完成，定位准确率依据标准评估协议计算。
• 通过多个距离区间（高、中、低）评估性能，以衡量在不同定位难度下的鲁棒性。
• 系统性地比较各配置的平均准确率（所有区间综合），结果按整体性能排序。
• 分析包括对描述符类型与训练策略（如config1与config2）的消融研究，以分离性能提升的来源。

实验结果

研究问题

• RQ1 在Aachen Day-Night v1.1基准中，哪种局部特征检测器与全局描述符的组合能实现最高的定位准确率？
• RQ2 在昼夜变化条件下，学习得到的局部特征（如R2D2）与传统方法（如SIFT）相比表现如何？
• RQ3 不同全局描述符类型（如APGeM、NetVLAD、DELG）对光照条件变化下的定位鲁棒性有何影响？
• RQ4 训练配置的选择（如config1与config2）是否显著影响R2D2与全局描述符组合的性能？
• RQ5 在具有挑战性的室外场景中，不同特征匹配策略（如SuperGlue）如何影响最终的定位准确率？

主要发现

• 采用GHARM-50与config2配置的R2D2在Aachen Day-Night v1.1基准的所有距离区间中实现了92.45%的最高平均准确率。
• 该配置在高距离区间达到99.5%的准确率，在夜间高距离区间也达到98.0%，表明其在极端条件下的强鲁棒性。
• Fast-R2D2搭配GHARM-20与config2配置实现了91.75%的平均准确率，表明快速变体也能保持高性能。
• R2D2搭配APGeM-20与config2配置实现了90.32%的平均准确率，证明APGeM作为全局描述符的有效性。
• 使用COLMAP SIFT搭配APGeM-20仅获得79.17%的平均准确率，凸显了学习特征与传统特征之间的性能差距。
• 采用DenseVLAD或NetVLAD与R2D2组合的配置性能显著较低（分别为84.93%与90.60%），表明描述符选择对结果有显著影响。