[论文解读] MegLoc: A Robust and Accurate Visual Localization Pipeline

Shuxue Peng, Zihang He+5 more|arXiv (Cornell University)|Nov 25, 2021

Robotics and Sensor-Based Localization参考文献 24被引用 6

一句话总结

MegLoc 是一种鲁棒且精确的 6-DoF 视觉定位流水线，通过结合全局与局部特征匹配以及多阶段优化，实现在季节性、光照和时间变化等挑战性条件下的可靠位姿估计。它在多个基准测试中达到最先进性能，包括在 ICCV 2021 户外与室内视觉定位挑战赛中夺冠。

ABSTRACT

In this paper, we present a visual localization pipeline, namely MegLoc, for robust and accurate 6-DoF pose estimation under varying scenarios, including indoor and outdoor scenes, different time across a day, different seasons across a year, and even across years. MegLoc achieves state-of-the-art results on a range of challenging datasets, including winning the Outdoor and Indoor Visual Localization Challenge of ICCV 2021 Workshop on Long-term Visual Localization under Changing Conditions, as well as the Re-localization Challenge for Autonomous Driving of ICCV 2021 Workshop on Map-based Localization for Autonomous Driving.

研究动机与目标

• 开发一种视觉定位流水线，使其在极端外观变化（包括季节性、昼夜性及长期变化）下仍能保持高精度与鲁棒性。
• 通过引入视图对齐与感知相似性重排序策略，解决传统图像检索在低纹理或重复性室内场景中的局限性。
• 通过模块化、两阶段流水线（结合建图与定位）并集成端到端可训练的优化组件，提升位姿估计精度。
• 探索密集重建与神经渲染技术（如 MVS 和 NeRF-W）的集成，以提升 3D 地图质量与定位鲁棒性。
• 在多样化的现实世界视觉定位基准上实现最先进性能，涵盖长期与自动驾驶场景。

提出的方法

• 采用两阶段流水线：建图（参考匹配、COLMAP 三角测量、深度验证与不确定性剔除）与定位（全局描述子融合、局部特征匹配、PnP 与位姿重排序）。
• 采用图像预处理技术，包括将图像最大边缩放至 1600px，利用 CityScapes 上的 DeepLab-V3+ 对动态物体进行语义遮罩，以及镜头畸变校正，以提升特征可靠性。
• 结合 SuperPoint 与 ASLFeat 进行局部特征提取，通过非极大值抑制与阈值调优，每张图像获得约 1500 个关键点，充分发挥二者互补优势。
• 采用 NetVLAD 进行全局特征提取，实现基于可微软分配的图像检索，并支持端到端训练，增强对外观变化的鲁棒性。
• 利用基于 ICP 与基于渲染的位姿优化，结合密集深度图或可微渲染技术，将初始位姿向真实几何结构优化。
• 在室内场景中引入基于感知相似性的重排序策略，通过估计位姿对候选视图与查询图像进行对齐，并在深层特征图上测量 L2 距离。

实验结果

研究问题

• RQ1 如何使视觉定位流水线在季节性与昼夜性等显著外观变化下仍能保持高精度与鲁棒性？
• RQ2 在传统全局描述子失效的低纹理或重复性室内环境中，哪些策略可提升图像检索的可靠性？
• RQ3 基于 ICP 与可微渲染的多阶段优化，能在多大程度上改进 PnP 生成的初始位姿估计？
• RQ4 集成密集重建（MVS）与神经渲染（NeRF-W）是否能提升长期场景下的地图质量与定位性能？
• RQ5 模块化设计在多大程度上支持与替代性建图或特征提取组件的即插即用式集成？

主要发现

• MegLoc 在多个基准测试中达到最先进性能，包括在 ICCV 2021 户外与室内视觉定位挑战赛中夺冠。
• 语义遮罩与图像去畸变显著提升了关键点可靠性与匹配精度，尤其在动态或畸变场景中表现突出。
• SuperPoint 与 ASLFeat 的融合使每张图像获得约 1500 个关键点，实现了在多样化环境下的覆盖范围与区分能力的平衡。
• 基于 NetVLAD 的全局特征提取在严重光照与季节性变化下仍能实现鲁棒的图像检索，优于传统 BoW 与 SIFT 方法。
• 基于感知相似性的重排序策略通过选择结构最相似的候选视图，提升了室内场景的定位精度，克服了仅依赖全局描述子相似性的局限。
• 基于 ICP 与可微渲染的位姿优化显著降低了位姿误差，其中基于渲染的优化在光度一致性方面表现尤为出色。