[论文解读] LVI-SAM: Tightly-coupled Lidar-Visual-Inertial Odometry via Smoothing and Mapping

Tixiao Shan, Brendan Englot+2 more|ArXiv.org|Apr 22, 2021

Robotics and Sensor-Based Localization参考文献 25被引用 29

一句话总结

LVI-SAM 提出一个紧耦合的 LVIO 框架，建立在一个因子图之上，包含两个交互子系统（VIS 和 LIS），它们共享信息、实现鲁棒初始化、支持闭环、并在任一子系统失效时仍能工作，用于实时状态估计与建图。

ABSTRACT

We propose a framework for tightly-coupled lidar-visual-inertial odometry via smoothing and mapping, LVI-SAM, that achieves real-time state estimation and map-building with high accuracy and robustness. LVI-SAM is built atop a factor graph and is composed of two sub-systems: a visual-inertial system (VIS) and a lidar-inertial system (LIS). The two sub-systems are designed in a tightly-coupled manner, in which the VIS leverages LIS estimation to facilitate initialization. The accuracy of the VIS is improved by extracting depth information for visual features using lidar measurements. In turn, the LIS utilizes VIS estimation for initial guesses to support scan-matching. Loop closures are first identified by the VIS and further refined by the LIS. LVI-SAM can also function when one of the two sub-systems fails, which increases its robustness in both texture-less and feature-less environments. LVI-SAM is extensively evaluated on datasets gathered from several platforms over a variety of scales and environments. Our implementation is available at https://git.io/lvi-sam

研究动机与目标

• 通过在因子图框架中将视觉-惯性和激光雷达-惯性系统紧耦合，提升 lidar-visual-inertial 里程计的鲁棒性和精度。
• 实现可靠初始化、从 lidar 获取特征深度估计以及闭环检测，以降低漂移。
• 通过在另一子系统失败时允许 VIS 或 LIS 单独运行来提高鲁棒性。
• 在多样的数据集和平台上验证性能，为 LVIO 建立一个强有力的基线。

提出的方法

• 以紧耦合方式工作的两个子系统：视觉-惯性系统（VIS）和激光雷达-惯性系统（LIS）。
• VIS 最小化视觉重投影误差和 IMU 残差，并且可以从 lidar 获得特征深度以改进初始化和深度估计。
• LIS 进行 lidar 特征提取并针对滑动窗口特征地图进行扫描匹配，使用 IMU 预积分以及来自 IMU 和 VIS 的初始猜测。
• 一个因子图汇聚 IMU 预积分、视觉里程计、激光雷达里程计和闭环约束，使用 iSAM2 进行 MAP 估计求解。
• 闭环最初由 VIS 识别，由 LIS 进行细化，从而实现全局优化和漂移降低。
• 通过故障检测增强系统鲁棒性，如另一子系统失效时，允许 VIS 或 LIS 重新初始化。

Figure 1: The system structure of LVI-SAM. The system, which receives input from a 3D lidar, a camera and an IMU, can be divided into two sub-systems: a visual-inertial system (VIS) and a lidar-inertial system (LIS). The VIS and LIS can function independently while using information from each other

实验结果

研究问题

• RQ1 利用 VIS 和 LIS 的紧耦合 LVIO 框架是否能在鲁棒性和精度上优于单一传感器或松耦合的方法？
• RQ2 如何设计初始化、深度估计和闭环以在无纹理或退化环境中实现稳健运行？
• RQ3 基于因子图的优化在将 VIS、LIS、IMU 和闭环约束融合以实现实时建图中的作用是什么？
• RQ4 在不同平台和尺度下，系统能否在保持高精度的同时维持实时性能？

主要发现

• 所提出的框架在降质环境中实现了实时状态估计与建图，并具备鲁棒性。
• 来自 lidar 的深度增强的视觉特征提升了 VIS 的初始化和整体精度。
• 通过 VIS 的闭环由 LIS 进行细化，从而实现全局优化和漂移降低。
• 在纹理缺失环境下，如一子系统失效，VIS 和 LIS 可以独立运行，从而提高鲁棒性。
• 在多个数据集和平台上的广泛实验表明，与现有 LVIO/LIO 基线相比，精度具有竞争力或更优。

Figure 2: The framework of our visual-inertial system. The system optimizes residuals from IMU preintegration, visual measurements without depth, and visual measurements with depth.