[论文解读] Leveraging Deep Visual Descriptors for Hierarchical Efficient Localization

Paul-Edouard Sarlin, Frédéric Debraine+3 more|arXiv (Cornell University)|Sep 4, 2018

Robotics and Sensor-Based Localization被引用 44

一句话总结

论文提出一个分层的视觉定位流程，先利用学习得到的全局图像描述子来检索候选地点，然后在城市尺度、GPS不可用的环境中进行昂贵的局部2D-3D匹配（SIFT）以实现厘米级的6-DoF姿态估计，同时在移动设备上实现实时运行。

ABSTRACT

Many robotics applications require precise pose estimates despite operating in large and changing environments. This can be addressed by visual localization, using a pre-computed 3D model of the surroundings. The pose estimation then amounts to finding correspondences between 2D keypoints in a query image and 3D points in the model using local descriptors. However, computational power is often limited on robotic platforms, making this task challenging in large-scale environments. Binary feature descriptors significantly speed up this 2D-3D matching, and have become popular in the robotics community, but also strongly impair the robustness to perceptual aliasing and changes in viewpoint, illumination and scene structure. In this work, we propose to leverage recent advances in deep learning to perform an efficient hierarchical localization. We first localize at the map level using learned image-wide global descriptors, and subsequently estimate a precise pose from 2D-3D matches computed in the candidate places only. This restricts the local search and thus allows to efficiently exploit powerful non-binary descriptors usually dismissed on resource-constrained devices. Our approach results in state-of-the-art localization performance while running in real-time on a popular mobile platform, enabling new prospects for robotics research.

研究动机与目标

• 在有限移动计算资源下，解决大规模、不断变化环境中对准确6-DoF定位的需求。
• 将全局学习描述子用于粗略位置检索，与昂贵的局部特征用于精确姿态估计相结合。
• 实现对移动硬件的实时运行，无需目标环境训练。

提出的方法

• 通过知识蒸馏将大规模图像检索模型压缩为适合移动端的网络，以生成 MobileNetVLAD 全局描述子。
• 对检索得到的先验进行共可见性聚类，以定义候选地点。
• 仅在缩小的候选集合内使用高维局部描述子（SIFT 或 FREAK）来计算2D-3D匹配。
• 从一致的2D-3D对应关系中解决 PnP-RANSAC 姿态估计。
• 与基线进行对比，显示召回率/精度和厘米级姿态估计的改进。

实验结果

研究问题

• RQ1 学习到的全局描述子是否能够实现可处理的粗粒度定位，从而减少2D-3D姿态估计的搜索空间？
• RQ2 分层的自上而下定位流程在移动硬件上的准确性和运行时是否优于现有资源受限的方法？
• RQ3 全局描述子蒸馏、共可见性聚类、以及局部描述子选择（FREAK 与 SIFT）如何影响定位性能？

主要发现

• MobileNetVLAD 的检索召回率接近 NetVLAD，但速度大约快38倍，从而实现了实时的移动端部署。
• 在完整定位中，MobileNetVLAD 结合 SIFT（MNV+SIFT）的 Recall@0.1m 为38.5%，Precision@0.1m 为80.5%，中值误差为0.029 m，优于 Direct+FREAK 并接近完美 SIFT 的上界。
• 使用5–10帧先验能够提供强健的姿态估计，同时保持较低的运行时；增加先验数量会带来收益递减和更高的延迟。
• 整个流程在 NVIDIA Jetson TX2 上以2.2 FPS运行，局部匹配是瓶颈，若牺牲一些精度则有提升空间。
• 与 Maplab 的 Direct+FREAK 基线相比，所提出的方法在报告结果中显著提升了召回率（提升18.4%）。
• 即使在实时约束下，该系统在城市尺度、GPS不可用的环境中也能提供厘米级姿态，而无需目标环境训练。