[论文解读] FAST-LIVO: Fast and Tightly-coupled Sparse-Direct LiDAR-Inertial-Visual Odometry

Chunran Zheng, Qingyan Zhu+4 more|arXiv (Cornell University)|Mar 2, 2022

Robotics and Sensor-Based Localization被引用 7

一句话总结

FAST-LIVO 提出了一种快速、紧密耦合的稀疏直接激光雷达-惯性-视觉里程计系统，通过直接对齐从激光雷达构建的点云地图投影出的图像块与原始点云注册，联合优化位姿。该系统在具有挑战性的环境中实现了最先进水平的精度与鲁棒性——例如无纹理墙面、激光雷达性能下降的场景以及剧烈运动——同时在 Intel 和 ARM 平台均实现了实时运行，每帧平均处理时间为 36.75 ms。

ABSTRACT

To achieve accurate and robust pose estimation in Simultaneous Localization and Mapping (SLAM) task, multi-sensor fusion is proven to be an effective solution and thus provides great potential in robotic applications. This paper proposes FAST-LIVO, a fast LiDAR-Inertial-Visual Odometry system, which builds on two tightly-coupled and direct odometry subsystems: a VIO subsystem and a LIO subsystem. The LIO subsystem registers raw points (instead of feature points on e.g., edges or planes) of a new scan to an incrementally-built point cloud map. The map points are additionally attached with image patches, which are then used in the VIO subsystem to align a new image by minimizing the direct photometric errors without extracting any visual features (e.g., ORB or FAST corner features). To further improve the VIO robustness and accuracy, a novel outlier rejection method is proposed to reject unstable map points that lie on edges or are occluded in the image view. Experiments on both open data sequences and our customized device data are conducted. The results show our proposed system outperforms other counterparts and can handle challenging environments at reduced computation cost. The system supports both multi-line spinning LiDARs and emerging solid-state LiDARs with completely different scanning patterns, and can run in real-time on both Intel and ARM processors. We open source our code and dataset of this work on Github to benefit the robotics community.

研究动机与目标

• 通过融合激光雷达、惯性测量单元（IMU）和视觉数据，解决单传感器 SLAM 在无纹理或无结构环境中的局限性。
• 通过在视觉里程计中消除特征提取与匹配步骤，降低多传感器融合 SLAM 的计算成本。
• 提升在激光雷达性能下降环境和视觉无纹理墙面等具有挑战性场景下的鲁棒性与精度。
• 实现在高性能（Intel）与嵌入式（ARM）处理器上的实时运行，支持旋转式与固态激光雷达。
• 开发一种在测量层面紧密耦合激光雷达与视觉测量的融合框架，而非仅融合状态估计。

提出的方法

• 构建一个激光雷达-惯性里程计（LIO）子系统，通过点到平面残差将原始激光雷达点直接注册到逐步构建的点云地图中。
• 将图像块附加到 LIO 子系统的地图点上，并将其投影到新的相机帧中，用于视觉-惯性里程计（VIO）子系统中的直接辐射度对齐。
• 通过最小化投影图像块与当前图像像素之间的辐射度误差，实现稀疏直接视觉对齐，避免使用特征提取（如 ORB、FAST）。
• 提出一种新颖的异常值剔除方法，识别并移除不稳定地图点——尤其是位于边缘或视图中被遮挡的点——从而提升 VIO 的鲁棒性。
• 在误差状态迭代扩展卡尔曼滤波器（ESIKF）中融合激光雷达、视觉与 IMU 测量，实现紧密耦合的状态估计。
• 通过统一的处理流水线，支持多线旋转式激光雷达与不同扫描模式的固态激光雷达。

实验结果

研究问题

• RQ1 紧密耦合的稀疏直接激光雷达、视觉与惯性数据融合，是否能在具有挑战性的环境中实现比现有 LIVO 系统更高的精度与鲁棒性？
• RQ2 使用激光雷达地图预投影的图像块进行直接辐射度对齐，能在多大程度上消除对视觉特征提取与匹配的需求？
• RQ3 所提出的异常值剔除方法在存在遮挡或地图点位于边缘的场景中，如何提升 VIO 的性能？
• RQ4 该系统是否能在高性能（Intel）与嵌入式（ARM）平台上均保持实时性能，同时支持多种类型的激光雷达？
• RQ5 在极端场景下，如无纹理墙面、激光雷达性能下降的环境以及剧烈运动中，系统表现如何？

主要发现

• 在具有长段无特征墙面的激光雷达性能下降环境中，FAST-LIVO 实现了最低的端到端漂移（0.05 m），优于 FAST-LIO2 和 SVO2.0。
• 在包含室内外转换、剧烈运动及无纹理白色墙面的高挑战性视觉序列中，FAST-LIVO 在 79.52 m 的路径上实现了仅 0.04 m 的端到端误差。
• 在桌面级 Intel i7-10700U 上，系统实现了平均每帧 36.75 ms 的处理时间，显著快于 R2LIVE（LIO+VIO 前端为 45.16 ms）。
• 在搭载高通 Kryo585 CPU 的嵌入式 RB5 平台上，系统实现了每帧 13.82 ms 的总处理时间，表明其在 ARM 处理器上也具备出色的效率。
• 系统成功重建了香港大学校园环境的密集、实时、带 RGB 颜色的三维地图，放大视图中可清晰观察到精细的视觉细节。
• VIO 子系统在 Intel 上的平均处理时间为 10.23 ms，在 ARM 上为 13.82 ms；LIO 子系统分别耗时 26.52 ms 和 51.51 ms，表明系统在不同平台间具有良好的可扩展性。