[论文解读] Metric Localization using Google Street View

Pratik Agarwal, Wolfram Burgard+1 more|arXiv (Cornell University)|Mar 14, 2015

Robotics and Sensor-Based Localization参考文献 23被引用 9

一句话总结

本文提出了一种基于谷歌街景全景图作为全局参考的度量定位方法，通过单目相机流估计3D特征点，并利用非线性最小二乘优化将其与全景图对齐。该方法仅使用单目图像和航位推算法即实现了亚米级精度，无需预先构建环境地图或GPS信号，实现了在城市环境中的鲁棒定位。

ABSTRACT

Accurate metrical localization is one of the central challenges in mobile robotics. Many existing methods aim at localizing after building a map with the robot. In this paper, we present a novel approach that instead uses geotagged panoramas from the Google Street View as a source of global positioning. We model the problem of localization as a non-linear least squares estimation in two phases. The first estimates the 3D position of tracked feature points from short monocular camera sequences. The second computes the rigid body transformation between the Street View panoramas and the estimated points. The only input of this approach is a stream of monocular camera images and odometry estimates. We quantified the accuracy of the method by running the approach on a robotic platform in a parking lot by using visual fiducials as ground truth. Additionally, we applied the approach in the context of personal localization in a real urban scenario by using data from a Google Tango tablet.

研究动机与目标

• 为机器人和移动设备实现无需预先建图或GPS信号的高精度度量定位。
• 利用现有的、全球地理标记的谷歌街景全景图作为全局定位参考。
• 开发一种仅需最少传感器输入（单目相机和航位推算）的方法，使其成本低廉且易于部署。
• 在具有挑战性视觉条件的城市环境中实现鲁棒定位，例如重复的立面结构或临时遮挡。
• 通过现成设备（如谷歌Tango）在机器人和移动个人定位场景中展示其适用性。

提出的方法

• 该方法将定位问题建模为两阶段非线性最小二乘优化问题。
• 第一阶段通过视觉里程计和特征跟踪，从短时单目图像序列中估计特征点的3D位置。
• 第二阶段计算估计的3D点与地理标记的街景全景图之间的6-DOF刚性变换。
• 使用镜像棱镜以改善地面上的特征跟踪，从而在Tango设备上实现稳定的视觉-惯性里程计。
• 通过简单的词袋方法执行场景识别，以识别与当前相机视图匹配的候选全景图。
• 最终位姿估计由相机轨迹与选定的街景全景图之间的优化变换得出。

实验结果

研究问题

• RQ1 谷歌街景全景图能否作为城市环境中度量定位的可靠全局参考？
• RQ2 仅使用单目图像和航位推算，能否在不预先构建地图的情况下实现亚米级定位精度？
• RQ3 该方法在具有重复结构或临时遮挡等视觉挑战的城市环境中有多大的鲁棒性？
• RQ4 该方法能否在消费级移动设备（如谷歌Tango）上有效部署，且硬件修改极少？
• RQ5 两阶段优化策略是否比单步方法具有更好的收敛性和更高的精度？

主要发现

• 在大型户外停车场中，该方法利用视觉标识作为真实值，实现了亚米级定位精度。
• 在城市场景中，包括德国弗莱堡的一处无GPS信号的隧道，系统仅依靠街景和视觉里程计成功实现了设备定位。
• 在郊区住宅区，尽管房屋视觉相似，该方法仍正确实现了设备定位，证明了其对模糊视觉线索的鲁棒性。
• 在法国马尔科尔斯海姆的主要道路上，尽管交通繁忙且动态条件复杂，该方法仍成功将相机轨迹匹配到最近的街景全景图。
• 使用安装在棱镜上的相机提高了地面上的特征跟踪稳定性，从而在Tango设备上实现了可靠的视觉-惯性里程计。
• 两阶段优化方法提供了稳定的初始解，即使基线较短且特征稳定性较弱，也能实现准确的6-DOF位姿收敛。