[论文解读] EU Long-term Dataset with Multiple Sensors for Autonomous Driving

Zhi Yan, Li Sun+2 more|arXiv (Cornell University)|Sep 7, 2019

Robotics and Sensor-Based Localization参考文献 28被引用 10

一句话总结

本论文展示了在法国UTBM部署的车载多传感器平台所收集的长期、多传感器数据集，集成11种异构传感器（包括多个摄像头、激光雷达、雷达、IMU和GPS-RTK），通过ROS实现同步与处理。该数据集公开可用，图像已进行匿名化处理，支持长期自主研究，涵盖季节性、昼夜及城市/郊区动态变化，适用于持续地图构建与终身学习等研究。

ABSTRACT

The field of autonomous driving has grown tremendously over the past few years, along with the rapid progress in sensor technology. One of the major purposes of using sensors is to provide environment perception for vehicle understanding, learning and reasoning, and ultimately interacting with the environment. In this paper, we first introduce a multisensor platform allowing vehicle to perceive its surroundings and locate itself in a more efficient and accurate way. The platform integrates eleven heterogeneous sensors including various cameras and lidars, a radar, an IMU (Inertial Measurement Unit), and a GPS-RTK (Global Positioning System / Real-Time Kinematic), while exploits a ROS (Robot Operating System) based software to process the sensory data. Then, we present a new dataset (https://epan-utbm.github.io/utbm_robocar_dataset/) for autonomous driving captured many new research challenges (e.g. highly dynamic environment), and especially for long-term autonomy (e.g. creating and maintaining maps), collected with our instrumented vehicle, publicly available to the community.

研究动机与目标

• 解决自动驾驶研究中长期、多传感器数据集缺乏的问题，以捕捉季节性、昼夜及环境动态变化。
• 克服现有数据集（如KITTI仅单次会话且无季节变化，Oxford无3D激光雷达）的局限性，提供全面、长期的多传感器数据集，实现完整传感器覆盖。
• 通过捕捉真实世界环境的多样性变化，支持长期自主研究，包括持续地图构建、在线学习与长期预测。
• 提供完全标定、近似同步的数据集，并附带真实GPS-RTK轨迹，以支持高精度定位评估。
• 通过基于深度学习的图像匿名化技术，对摄像头图像中的人脸和车牌进行模糊处理，确保符合欧盟GDPR规定。

提出的方法

• 部署了集成11种异构传感器的多传感器平台：四个摄像头、两个3D激光雷达（Velodyne）、一个2D激光雷达、一个雷达、一个IMU和一个GPS-RTK接收器。
• 使用ROS（机器人操作系统）管理数据采集、同步（大多数传感器为软件级同步，两个3D激光雷达通过卫星信号实现硬件级同步）及实时处理。
• 采用统一的标定框架对所有传感器进行标定，确保不同模态间在空间和时间上的一致性。
• 在城市和郊区环境中长期记录数据，以捕捉季节性、光照及交通动态变化。
• 应用基于深度学习的图像匿名化技术（使用公开仓库）对摄像头数据中的人脸和车牌进行模糊处理，确保GDPR合规。
• 以ROS bag格式发布数据集，并附带真实轨迹，支持激光雷达里程计与定位方法的基准测试。

实验结果

研究问题

• RQ1 如何设计多传感器平台，以在多样化的真实驾驶环境中实现鲁棒的长期感知与定位？
• RQ2 在长期、多传感器数据集的采集与维护中，保持一致标定与同步的关键挑战是什么？
• RQ3 包含季节性与动态变化的长期数据集在多大程度上能提升自动驾驶中终身学习与在线学习方法的性能？
• RQ4 与单传感器或仅立体视觉系统相比，多激光雷达与摄像头的集成如何提升感知鲁棒性并减少盲区？
• RQ5 在大规模自动驾驶数据集发布中，数据隐私合规（如GDPR）的实际影响是什么？

主要发现

• 数据集覆盖了190.9公里的城市与郊区驾驶数据，实现全传感器覆盖，包含季节性与昼夜变化。
• 平台实现了高精度传感器同步，其中两个3D激光雷达通过卫星信号实现硬件级同步，其余传感器通过软件级同步。
• 数据集包含来自GPS-RTK的真实轨迹，可支持定位与里程计算法的精确评估。
• 基于深度学习的匿名化技术成功模糊了所有摄像头图像中的人脸与车牌，确保符合欧盟GDPR规定。
• 该数据集支持最先进激光雷达里程计方法的基准测试，并提供了评估基线结果。
• 与KITTI、Oxford和nuScenes等现有数据集相比，本数据集在长期时间覆盖、丰富的异构传感器数据与隐私保护方面具有独特优势。