[论文解读] CubemapSLAM: A Piecewise-Pinhole Monocular Fisheye SLAM System

Yahui Wang, Shaojun Cai+5 more|arXiv (Cornell University)|Nov 30, 2018

Robotics and Sensor-Based Localization参考文献 24被引用 7

一句话总结

CubemapSLAM 提出了一种针对单目鱼眼相机的实时、基于特征的 SLAM 系统，通过立方体图投影消除鱼眼畸变，同时保留完整的视场角。通过将鱼眼相机建模为六个分段针孔面，该系统利用统一的向量表示和一种新型重投影误差度量，实现了高效的特征匹配与三角测量，相比现有鱼眼 SLAM 系统在精度和鲁棒性方面表现更优，尤其在具有挑战性条件的大规模户外场景中表现突出。

ABSTRACT

We present a real-time feature-based SLAM (Simultaneous Localization and Mapping) system for fisheye cameras featured by a large field-of-view (FoV). Large FoV cameras are beneficial for large-scale outdoor SLAM applications, because they increase visual overlap between consecutive frames and capture more pixels belonging to the static parts of the environment. However, current feature-based SLAM systems such as PTAM and ORB-SLAM limit their camera model to pinhole only. To compensate for the vacancy, we propose a novel SLAM system with the cubemap model that utilizes the full FoV without introducing distortion from the fisheye lens, which greatly benefits the feature matching pipeline. In the initialization and point triangulation stages, we adopt a unified vector-based representation to efficiently handle matches across multiple faces, and based on this representation we propose and analyze a novel inlier checking metric. In the optimization stage, we design and test a novel multi-pinhole reprojection error metric that outperforms other metrics by a large margin. We evaluate our system comprehensively on a public dataset as well as a self-collected dataset that contains real-world challenging sequences. The results suggest that our system is more robust and accurate than other feature-based fisheye SLAM approaches. The CubemapSLAM system has been released into the public domain.

研究动机与目标

• 解决缺乏实时、高精度鱼眼相机 SLAM 系统的问题，该系统能充分利用其大视场角（FoV）而不引入畸变。
• 克服现有基于特征的 SLAM 系统（如 ORB-SLAM 和 PTAM）的局限性，这些系统受限于针孔模型，在高度畸变的鱼眼图像上表现失败。
• 设计一种鲁棒、高效的 SLAM 流水线，充分利用鱼眼相机的完整视场角，同时保持与标准特征描述符和词袋词汇表的兼容性。
• 通过引入专为立方体图模型设计的新几何表示和误差度量，改进鱼眼 SLAM 中的特征匹配、三角测量和优化阶段。
• 在具有挑战性的现实户外场景中验证系统的优势，如遮挡、低纹理区域和动态物体。

提出的方法

• 该系统将鱼眼相机建模为立方体图，将 360° 鱼眼图像投影到立方体的六个平面面上，每个面代表一个畸变极小的针孔相机。
• 提出一种统一的向量表示方法，以高效处理初始化和三角测量过程中跨多个立方体图面的特征对应关系。
• 提出一种基于本质矩阵和向量表示的新型内点检查度量，并在 RANSAC 基础的异常值剔除中进行了严格分析。
• 设计并评估了一种新的多针孔重投影误差度量，用于捆绑调整，其在精度和收敛性方面优于现有度量。
• 系统集成了回环检测，并采用 7-DoF 对齐方法进行轨迹评估，从而在长序列中实现鲁棒性能。
• 实现经过优化，支持实时运行，并已公开发布于 GitHub。

实验结果

研究问题

• RQ1 基于立方体图的表示能否有效建模鱼眼相机，实现实时、高精度 SLAM 而不引入畸变？
• RQ2 如何在保持几何一致性的前提下，高效处理跨多个立方体图面的特征匹配与三角测量？
• RQ3 在分段针孔鱼眼 SLAM 系统中，捆绑调整的最佳重投影误差度量是什么？与现有度量相比表现如何？
• RQ4 在真实户外环境中，使用立方体图模型的鱼眼 SLAM 系统与基于针孔模型和校正后鱼眼 SLAM 系统相比，性能如何？
• RQ5 在角分辨率有限的情况下，回环检测和最优相机安装位置是否仍能进一步提升鱼眼 SLAM 系统的精度？

主要发现

• 在停车场序列中，CubemapSLAM 的 ATE RMSE 达到 4.47m（未启用回环检测时为 16.47m），显著优于 ORB-Pin-F 和 ORB-Rect-F，甚至在启用回环检测后超越了基于针孔模型的 ORB-Pin-F。
• 在 loop1_c_clockwise 序列中，CubemapSLAM 的 ATE RMSE 为 9.84m，优于 ORB-Pin-L（15.60m）和 ORB-Rect-L（X），表明其在低纹理、遮挡环境中的卓越鲁棒性。
• 在 town_1 序列中，系统平均跟踪 366.14 个关键点，显著多于 ORB-Pin-L（379.21）和 ORB-Rect-L（375.09），表明其具有更好的跟踪稳定性和地图密度。
• 启用回环检测后，CubemapSLAM 将 parkinglot_1 序列的 ATE RMSE 从 5.44m 降低至 2.41m，显示出在长序列中强大的一致性与收敛性。
• 系统在低帧率、低纹理场景（如每三帧仅一帧）中仍能成功初始化并稳定跟踪，而 ORB-Pin-F 无法完成初始化，凸显其鲁棒性。
• CubemapSLAM 的性能与基于针孔相机的 ORB-SLAM 相当，甚至在某些情况下经回环检测后表现更优，尽管鱼眼传感器的角分辨率较低。