[论文解读] MetroLoc: Metro Vehicle Mapping and Localization with LiDAR-Camera-Inertial Integration

Yusheng Wang, Weiwei Song+4 more|arXiv (Cornell University)|Nov 1, 2021

Remote Sensing and LiDAR Applications被引用 5

一句话总结

MetroLoc 提出了一种鲁棒、实时的、以惯性测量单元（IMU）为中心的多传感器融合框架，用于大规模地铁车辆的定位与制图，通过紧密集成激光雷达（LiDAR）、相机和惯性数据实现。通过在激光雷达-惯性里程计中同时利用线特征和面特征，并在视觉-惯性里程计中结合线-点特征，该系统在长时间运行的地铁环境中实现了优于当前最先进方法的精度与鲁棒性，其有效性已在搭载基于虚拟现实（VR）监控应用的维护车辆上得到验证。

ABSTRACT

We propose an accurate and robust multi-modal sensor fusion framework, MetroLoc, towards one of the most extreme scenarios, the large-scale metro vehicle localization and mapping. MetroLoc is built atop an IMU-centric state estimator that tightly couples light detection and ranging (LiDAR), visual, and inertial information with the convenience of loosely coupled methods. The proposed framework is composed of three submodules: IMU odometry, LiDAR-inertial odometry (LIO), and Visual-inertial odometry (VIO). The IMU is treated as the primary sensor, which achieves the observations from LIO and VIO to constrain the accelerometer and gyroscope biases. Compared to previous point-only LIO methods, our approach leverages more geometry information by introducing both line and plane features into motion estimation. The VIO also utilizes the environmental structure information by employing both lines and points. Our proposed method has been extensively tested in the long-during metro environments with a maintenance vehicle. Experimental results show the system more accurate and robust than the state-of-the-art approaches with real-time performance. Besides, we develop a series of Virtual Reality (VR) applications towards efficient, economical, and interactive rail vehicle state and trackside infrastructure monitoring, which has already been deployed to an outdoor testing railroad.

研究动机与目标

• 为解决在高动态范围和传感器退化条件下，大规模复杂地铁环境中实现精确且鲁棒的定位与制图的挑战。
• 开发一种传感器融合框架，利用激光雷达中的几何结构（线与面）以及视觉特征，以提升运动估计性能。
• 采用紧密耦合的、以IMU为中心的架构，集成激光雷达、相机与惯性传感器，实现偏差估计并提升长期稳定性。
• 通过支持实时性能和基于交互式虚拟现实（VR）监控的系统，实现在真实铁路环境中的实际部署。
• 展示多模态传感器融合在高效、经济且交互式地监测铁路车辆状态与沿线基础设施方面的可行性。

提出的方法

• 该框架采用以IMU为中心的状态估计算法，利用激光雷达-惯性里程计（LIO）和视觉-惯性里程计（VIO）的观测结果，对陀螺仪和加速度计偏差进行估计与校正。
• LIO通过从激光雷达扫描中提取的线特征与面特征，相比仅使用点特征的方法，显著提升了运动估计的精度。
• VIO结合单目或双目相机中的线特征与点特征，增强了在特征稀疏环境下的几何一致性与鲁棒性。
• 通过紧密耦合的因子图优化，实现激光雷达、视觉与惯性数据的融合，同时保持实时性能。
• 提出一种新型特征表示策略，将几何基元（线与面）与点云结合，提升了在低纹理或重复性地铁环境中的鲁棒性。
• 开发了基于VR的应用层，用于车辆状态与基础设施的交互式可视化与监控，支持高效的后期处理与故障诊断。

实验结果

研究问题

• RQ1 多模态传感器融合（激光雷达、相机与惯性数据）如何提升在大规模重复性地铁环境中的定位精度与鲁棒性？
• RQ2 与仅使用点特征或标准特征方法相比，激光雷达中的线与面特征以及视觉中的线-点特征在多大程度上提升了运动估计性能？
• RQ3 以IMU为中心的紧密耦合融合框架是否能在具有挑战性的铁路场景中实现实时性能，同时保持长期稳定性和偏差校正？
• RQ4 多传感器融合的几何结构信息在多大程度上能减少漂移并提升长时间运行下的定位一致性？
• RQ5 所提出的系统是否能通过交互式VR监控工具实现在真实铁路运营中的实际部署？

主要发现

• 所提出的MetroLoc系统在长时间运行的地铁车辆定位任务中，相比当前最先进方法展现出更优的精度与鲁棒性。
• 在激光雷达-惯性里程计中同时使用线与面特征，显著提升了相比仅使用点特征的LIO方法的运动估计性能。
• 在视觉-惯性里程计中融合线与点特征，增强了在地铁隧道中常见的低纹理与重复性环境下的特征跟踪可靠性。
• 该系统在维护车辆上实现了实时性能，支持长时间运行下的连续定位与制图。
• 所开发的VR应用已在室外铁路测试环境中成功部署，实现了对车辆状态与沿线基础设施的高效、交互式监控。
• 以IMU为中心的设计通过LIO与VIO的观测结果，有效估计并校正了陀螺仪与加速度计的偏差，显著提升了长期稳定性。