[论文解读] Cascaded Parallel Filtering for Memory-Efficient Image-Based Localization

Wentao Cheng, Weisi Lin+2 more|arXiv (Cornell University)|Aug 16, 2019

Robotics and Sensor-Based Localization参考文献 25被引用 5

一句话总结

本文提出一种级联并行过滤方法，用于基于二值特征的内存高效图像定位，通过双管齐下的过滤策略整合特征、可见性和几何信息，降低内存使用量的同时提升定位精度。该方法在内存消耗较最先进方法降低85%的情况下，实现了具有竞争力的定位性能，尤其在中等规模数据集上表现优异。

ABSTRACT

Image-based localization (IBL) aims to estimate the 6DOF camera pose for a given query image. The camera pose can be computed from 2D-3D matches between a query image and Structure-from-Motion (SfM) models. Despite recent advances in IBL, it remains difficult to simultaneously resolve the memory consumption and match ambiguity problems of large SfM models. In this work, we propose a cascaded parallel filtering method that leverages the feature, visibility and geometry information to filter wrong matches under binary feature representation. The core idea is that we divide the challenging filtering task into two parallel tasks before deriving an auxiliary camera pose for final filtering. One task focuses on preserving potentially correct matches, while another focuses on obtaining high quality matches to facilitate subsequent more powerful filtering. Moreover, our proposed method improves the localization accuracy by introducing a quality-aware spatial reconfiguration method and a principal focal length enhanced pose estimation method. Experimental results on real-world datasets demonstrate that our method achieves very competitive localization performances in a memory-efficient manner.

研究动机与目标

• 为解决在紧凑二值特征表示下大规模SfM模型中高内存消耗与匹配模糊性的问题。
• 通过在级联过滤流水线中有效结合特征、可见性和几何信息，提升定位精度。
• 通过仅存储每个3D点8字节的二值签名，显著降低存储需求，实现内存使用量的减少。
• 通过优先选择稀疏且高质量的匹配，并利用主焦距选择鲁棒假设，提升基于RANSAC的位姿估计性能。
• 通过实现具有最小内存占用的竞争力精度，使方法适用于资源受限系统的实际部署。

提出的方法

• 该方法采用级联并行过滤框架，将过滤任务划分为两个并行流：一个使用宽松准则以保留潜在正确匹配，另一个使用严格准则以识别高置信度匹配。
• 特征过滤使用双边汉明比值测试评估匹配的区分性，相比标准汉明距离提升了区分能力。
• 可见性过滤利用点-图像关系，通过检索相关数据库图像来过滤虚假匹配。
• 采用两步匹配选择方法，利用点-点关系生成用于计算辅助相机位姿的鲁棒2D-3D匹配池。
• 几何过滤通过使用辅助位姿计算重投影误差，以排除错误匹配，从而提升最终匹配质量。
• 该方法引入一种质量感知空间重配置（QSR）技术，提高在RANSAC中采样非退化稀疏匹配的可能性。
• 主焦距增强位姿估计（PFL）方法通过优先选择焦距一致的假设，而非仅基于最多内点数的假设，来选择最鲁棒的位姿假设。

实验结果

研究问题

• RQ1 特征、可见性和几何信息能否在级联过滤流水线中有效统一，以在二值特征表示下提升匹配过滤性能？
• RQ2 是否可能在保持高定位精度的同时，显著降低大规模SfM模型中的内存消耗？
• RQ3 与选择内点最多的假设相比，基于主焦距的选择准则是否能提升位姿估计的鲁棒性？
• RQ4 在稀疏匹配场景下，匹配的空间重配置如何影响基于RANSAC的位姿估计成功率？
• RQ5 结合双边汉明比值与可见性检索的两阶段匹配选择策略，是否能优于标准投票或单准则过滤？

主要发现

• 在Dubrovnik和Aachen数据集上，该方法将内存消耗降低至0.14 GB，相比AS方法（分别为0.75 GB和0.76 GB）降低了85%。
• 在Dubrovnik数据集上，该方法成功定位794张查询图像，第75百分位误差为2.16米，优于基线投票方法（778张图像，2.19米误差）。
• 消融实验表明，禁用质量感知空间重配置（QSR）会使第75百分位误差从2.16米上升至2.53米，证明其在提升精度方面具有关键作用。
• 移除主焦距估计（PFL）方法后，第75百分位误差上升至2.70米，证实其在选择鲁棒位姿假设方面的优势。
• 在SF-0大规模数据集上，该方法在5米阈值下取得具有竞争力的结果，与使用全维描述符的CPV方法相当，但因词典限制，尚未达到Hyperpoints的性能。
• 该方法在中等规模数据集上保持高性能的同时，实现显著更低的内存占用，使其适用于内存受限系统的部署。