[论文解读] Multi-Camera LiDAR Inertial Extension to the Newer College Dataset

Lintong Zhang, Marco Camurri+2 more|arXiv (Cornell University)|Dec 16, 2021

Remote Sensing and LiDAR Applications被引用 28

一句话总结

本论文提出一个多摄像头 LiDAR 惯性手持数据集，在 Newer College 的基础上扩展了具硬件同步的相机、IMU 和 128 通道 LiDAR，以及高频率的 6 DoF 真值和一个多摄像头视觉-惯性里程计示例方法。

ABSTRACT

We present a multi-camera LiDAR inertial dataset of 4.5 km walking distance as an expansion of the Newer College Dataset. The global shutter multi-camera device is hardware synchronized with both the IMU and LiDAR, which is more accurate than the original dataset with software synchronization. This dataset also provides six Degrees of Freedom (DoF) ground truth poses at LiDAR frequency (10 Hz). Three data collections are described and an example use case of multi-camera visual-inertial odometry is demonstrated. This expansion dataset contains small and narrow passages, large scale open spaces, as well as vegetated areas, to test localization and mapping systems. Furthermore, some sequences present challenging situations such as abrupt lighting change, textureless surfaces, and aggressive motion. The dataset is available at: https://ori-drs.github. io/newer-college-dataset/

研究动机与目标

• 提供一个全面的多摄像头视觉-惯性与 LiDAR 数据集，基于 Newer College 的扩展。
• 使用详细的先验地图提供高频率的 6-DoF 位姿真值。
• 展示硬件同步在具有挑战性的环境中提升鲁棒性 SLAM 的优势。

提出的方法

• 组装一个手持设备，配备四摄像头的 Alphasense 系统、一个 128 通道的 Ouster LiDAR，以及良好同步的 IMU。
• 在多样化环境中捕捉 4.5 公里步行轨迹，包括狭窄通道、空旷空间和树丛/植被。
• 通过将 LiDAR 扫描与基于 Leica BLK360 的先验地图对齐并进行 IMU 失真矫正，生成高频率的真值位姿。
• 使用 Kalibr 对相机内参/外参进行标定，实现相机-IMU-LiDAR 的同步。
• 提供双 PTP 同步的数据流，以在各传感器之间实现亚微秒级定时精度。
• 展示以 VILENS-MC 为示例用途的多摄像头视觉-惯性里程计。

实验结果

研究问题

• RQ1 多摄像头、LiDAR 与惯性传感器的组合如何在具有挑战性的室外和室内环境中提升鲁棒性 SLAM？
• RQ2 对于高频位姿估计，硬件同步相较软件同步有哪些好处？
• RQ3 在光照快速变化、纹理稀缺表面和大幅度运动的序列中，多摄像头视觉-惯性里程计的性能如何？

主要发现

• 该数据集在 Newer College 的基础上扩展了 4.5 公里步行距离，并在 LiDAR 速率（10 Hz）下提供高频率的 6-DoF 真值。
• 使用 PTP 的硬件同步在 LiDAR、相机和 IMU 之间提供亚微秒级精度。
• 采集覆盖楼梯、走廊、公园以及有纹理/无纹理区域等多样场景，以挑战 SLAM 系统。
• 本文展示的多摄像头视觉-惯性里程计（VILENS-MC）在具有挑战性的序列中优于单目/双目方法。
• 公开对比显示，ORB-SLAM3 和 OpenVINS 等方法在纹理缺失或快速运动序列中表现吃力，而 VILENS-MC 从跨摄像头特征跟踪中受益。
• 提供了使用 Kalibr 的详细标定协议以及每个采集的校准文件。