[论文解读] M2DGR: A Multi-sensor and Multi-scenario SLAM Dataset for Ground Robots

Jie Yin, Ang Li+3 more|arXiv (Cornell University)|Dec 19, 2021

Robotics and Sensor-Based Localization被引用 9

一句话总结

M2DGR 是一个大规模、多传感器、多场景的地面机器人 SLAM 数据集，包含 36 个序列（1TB），同步采集自 12 种传感器，包括鱼眼镜头、朝天镜头、事件相机、红外相机、激光雷达、IMU 和 GNSS。该数据集揭示了在真实世界挑战（如光照不足、电梯过渡和室内外切换）下，最先进 SLAM 系统性能显著下降，凸显了当前算法中的关键缺陷。

ABSTRACT

We introduce M2DGR: a novel large-scale dataset collected by a ground robot with a full sensor-suite including six fish-eye and one sky-pointing RGB cameras, an infrared camera, an event camera, a Visual-Inertial Sensor (VI-sensor), an inertial measurement unit (IMU), a LiDAR, a consumer-grade Global Navigation Satellite System (GNSS) receiver and a GNSS-IMU navigation system with real-time kinematic (RTK) signals. All those sensors were well-calibrated and synchronized, and their data were recorded simultaneously. The ground truth trajectories were obtained by the motion capture device, a laser 3D tracker, and an RTK receiver. The dataset comprises 36 sequences (about 1TB) captured in diverse scenarios including both indoor and outdoor environments. We evaluate state-of-the-art SLAM algorithms on M2DGR. Results show that existing solutions perform poorly in some scenarios. For the benefit of the research community, we make the dataset and tools public. The webpage of our project is https://github.com/SJTU-ViSYS/M2DGR.

研究动机与目标

• 为解决缺乏针对复杂室内外环境中运行的地面机器人而专门设计的全面、大规模 SLAM 数据集的问题。
• 捕捉服务与物流机器人常遇到的真实、具有挑战性的场景，例如进入电梯、穿越黑暗环境以及在室内外空间之间切换。
• 利用配备高精度多传感器数据的丰富仪器化地面机器人，对最先进 SLAM 算法在实际条件下的性能进行评估。
• 揭示现有视觉与激光雷达 SLAM 系统在真实世界故障案例中的局限性，从而指导未来算法的发展。
• 建立一个多传感器 SLAM 研究基准，支持公平比较，并推动鲁棒机器人定位与建图技术的创新。

提出的方法

• 使用配备六个鱼眼摄像头、一个朝天 RGB 摄像头、一个前向针孔摄像头、一个事件相机、一个红外相机、一个 32 束激光雷达、一个 IMU 和双 GNSS 接收器（含 RTK）的地面机器人采集数据。
• 所有传感器均经过精确标定并实现时间同步，以确保多模态数据对齐，支持联合处理。
• 通过动作捕捉系统、激光三维跟踪仪和 RTK GNSS 接收器获取真实轨迹，提供高精度的参考位姿。
• 数据集包含 36 个序列，覆盖多种环境，包括走廊、通道、电梯、道路以及室内外过渡区域，包含光照不足和动态运动等挑战性条件。
• 通过在数据集上使用标准指标（如 ATE 和 APE）评估多个最先进 SLAM 系统（ORB-SLAM3、LIO-SAM、VINS-Mono、LVI-SAM 等）的表现，开展全面基准测试。
• 评估重点聚焦于电梯过渡、黑暗环境和剧烈运动等故障案例，结合定性与定量分析系统鲁棒性与漂移表现。

Figure 1: Our dataset for ground robots was captured by a rich suite of sensors within various scenarios. Some sensory data are visualized.

实验结果

研究问题

• RQ1 在涉及光照不足的现实世界地面机器人场景中（如黑暗走廊或夜间街道），最先进视觉与激光雷达 SLAM 系统的性能如何？
• RQ2 当机器人进入并离开电梯时，现有 SLAM 系统在视觉与激光雷达传感器感知环境为静态的情况下，能多大程度上保持精度与鲁棒性？
• RQ3 SLAM 系统在从室外向室内环境过渡时如何应对，特别是在 GNSS 信号衰减或消失的情况下？
• RQ4 多摄像头视觉 SLAM 系统在处理具有高度畸变的鱼眼图像时，在动态或复杂场景下的失效模式是什么？
• RQ5 互补传感器（如事件相机、热成像、RTK-GNSS）的融合在挑战性条件下如何提升 SLAM 的鲁棒性？

主要发现

• ORB-SLAM3 在光照不足的场景（如 Roomdark06 和 Street07）中即使使用自适应直方图均衡化，仍因纹理不足且依赖远处明亮物体而无法提取足够特征。
• 热成像相机在黑暗场景中提升了系统鲁棒性，但无法检测无纹理物体（如平整窗帘），表明其对 RGB 相机并无普遍优势。
• 所有测试的 SLAM 系统在电梯过渡期间（如 lift04）均未能完整跟踪或建图，其中 LIO-SAM 因 IMU-LiDAR 惯导与里程计不匹配而出现严重漂移。
• 在室内外过渡场景（如 Door01）中，尽管 GNSS 可用，视觉 SLAM 系统仍产生较大的 ATE 误差，原因是 GNSS 信号在门附近衰减，且室内定位失败。
• Street07 中的剧烈动态运动（如快速转向与速度变化）导致所有测试的视觉与激光雷达 SLAM 系统均出现故障，所有算法的 ATE 误差均较高。
• 多摄像头视觉 SLAM（Multicol-SLAM）在几乎所有序列中均失败，原因在于鱼眼图像的高畸变导致错误的特征匹配，凸显了非针孔光学系统在多摄像头 SLAM 中的挑战。

Figure 2: Our ground robot for data collection. (a) Side view of the robot. (b) Sensors on the top layer. (c) Sensors on the middle layer.