[论文解读] Driving Datasets Literature Review

Charles-Éric Noël Laflamme, François Pomerleau+1 more|arXiv (Cornell University)|Oct 26, 2019

Autonomous Vehicle Technology and Safety参考文献 108被引用 17

一句话总结

本篇文献综述综合了截至2019年的自动驾驶数据集现状，对传感器类型、标定方法以及关键驾驶任务（如目标检测、立体视觉和行为分析）进行了分类。综述提供了40多个数据集的全面、表格化概览，涵盖目标检测、语义分割、定位和行为预测等领域，突出其传感器配置、标注信息及独特特征，适用于基准测试与研究。

ABSTRACT

This report is a survey of the different autonomous driving datasets which have been published up to date. The first section introduces the many sensor types used in autonomous driving datasets. The second section investigates the calibration and synchronization procedure required to generate accurate data. The third section describes the diverse driving tasks explored by the datasets. Finally, the fourth section provides comprehensive lists of datasets, mainly in the form of tables.

研究动机与目标

• 为2019年之前发布的自动驾驶数据集提供系统性调研，服务于学术与工业研究。
• 对传感器类型（尤其是外感受型传感器（如摄像头、激光雷达、事件相机）和本体感受型传感器）进行分类与分析。
• 研究对自动驾驶车辆感知系统数据准确性至关重要的标定与同步流程。
• 将数据集映射至核心驾驶任务，如目标检测、语义分割、运动估计和行为分析。
• 整理并对比40多个数据集，涵盖目标检测、语义分割、立体视觉、定位和行为预测，提供传感器、标注信息及环境条件等元数据。

提出的方法

• 根据功能与数据特性，将传感器分类为外感受型（如单目、立体、全景、热成像、事件、偏振相机）和本体感受型（如IMU、GNSS）。
• 回顾立体视觉与多传感器系统的标定技术，强调内参与外参标定对深度与空间精度的重要性。
• 分析数据同步方法，包括时间戳与硬件触发机制，以对齐多模态传感器数据流。
• 将数据集映射至7项核心任务：立体视觉、运动估计、目标检测、跟踪、语义分割、定位与行为分析。
• 将数据集整理并结构化为7张分类表格（4.1–4.7），详细列出提供方、年份、地点、时长、帧数、传感器、真实值及独特特征。
• 通过环境因素（天气、光照、城市/乡村）、传感器多样性与标注质量（如3D边界框、光流、视线追踪）评估数据集的独特性。

实验结果

研究问题

• RQ1 在自动驾驶数据集中，哪些传感器模态最为普遍？它们如何通过互补来缓解环境限制？
• RQ2 多传感器自动驾驶数据集中，确保数据一致性的标准标定与同步实践有哪些？
• RQ3 在环境多样性（如天气、昼夜、城市与乡村）和关键感知任务中的标注复杂性方面，数据集存在哪些差异？
• RQ4 在3D目标检测、语义分割和驾驶员行为预测等特定任务中，最广泛使用的是哪些数据集？
• RQ5 数据集如何支持长期、多会话或多传感器的定位与地图构建？其在真实世界鲁棒性测试中的局限性是什么？

主要发现

• KITTI、Cityscapes和BDD100K数据集在目标检测、语义分割和立体视觉任务中应用最为广泛，具备详尽的标注与多样的真实世界条件。
• 如KITTI Stereo 2015与HD1K等立体视觉与激光雷达融合数据集，可提供高精度深度图与3D点云，支持高级3D感知任务。
• 如牛津机器人车（Oxford RobotCar）与Málaga Stereo and Urban等数据集支持长期、多天气与多季节的数据采集，适用于长期鲁棒性评估。
• 行为预测数据集如JAAD、Brain4Cars与HDD包含丰富的行人与驾驶员意图、视线追踪与操作预测标注，支持高级行为建模。
• 事件相机数据集（如DAVIS、DYPED）与偏振成像数据集（如DAVIS）虽处于新兴阶段，但因缺乏对异步事件流的算法支持，仍使用有限。
• Apollo开放平台与comma.ai数据集提供大规模真实世界驾驶数据，包含GNSS、CAN总线与视频信息，支持端到端自动驾驶研究与方向盘预测。