[论文解读] A Survey on Autonomous Driving Datasets: Statistics, Annotation Quality, and a Future Outlook

Mingyu Liu, Ekim Yurtsever+6 more|arXiv (Cornell University)|Jan 2, 2024

Data Stream Mining Techniques被引用 4

一句话总结

本文对200多个自动驾驶数据集进行了全面综述，分析了其传感器模态、数据统计特征、标注质量及任务多样性。提出了一个影响得分指标以评估数据集的影响力，并识别出未来数据集的新兴趋势，如端到端驾驶、视觉-语言建模以及基于视觉-语言模型（VLM）的数据生成。

ABSTRACT

Autonomous driving has rapidly developed and shown promising performance due to recent advances in hardware and deep learning techniques. High-quality datasets are fundamental for developing reliable autonomous driving algorithms. Previous dataset surveys either focused on a limited number or lacked detailed investigation of dataset characteristics. To this end, we present an exhaustive study of 265 autonomous driving datasets from multiple perspectives, including sensor modalities, data size, tasks, and contextual conditions. We introduce a novel metric to evaluate the impact of datasets, which can also be a guide for creating new datasets. Besides, we analyze the annotation processes, existing labeling tools, and the annotation quality of datasets, showing the importance of establishing a standard annotation pipeline. On the other hand, we thoroughly analyze the impact of geographical and adversarial environmental conditions on the performance of autonomous driving systems. Moreover, we exhibit the data distribution of several vital datasets and discuss their pros and cons accordingly. Finally, we discuss the current challenges and the development trend of the future autonomous driving datasets.

研究动机与目标

• 提供对200多个自动驾驶数据集在传感器模态、数据规模、任务类型和上下文条件等方面的全面、系统性分析。
• 提出一种新颖的影响得分指标，用于评估感知数据集在研究社区中的影响力和重要性。
• 分析主要数据集中标注方法与质量因素，识别关键挑战与最佳实践。
• 研究地理、时间与传感器配置下的数据分布模式，以指导数据集选择与开发。
• 预测自动驾驶数据集的未来趋势，包括端到端学习、视觉-语言融合以及基于VLM的数据生成。

提出的方法

• 作者整理并分析了2009年至2023年间公开的204个自动驾驶数据集，涵盖真实世界、合成及混合数据源。
• 基于引用频率、数据集规模、任务覆盖范围和标注质量，提出一种影响得分指标，用于对数据集影响力进行排名。
• 对12个高影响力数据集在感知、预测、规划与控制任务方面进行了详细对比分析。
• 通过评估标注一致性、边界框密度和语义精确度等框架，对nuScenes、Waymo和KITTI等数据集的标注质量进行评估。
• 通过可视化地理与时间分布，揭示数据偏差及数据采集的演变趋势。
• 研究识别出新兴数据集趋势，包括端到端驾驶、多模态视觉-语言数据，以及基于VLM的合成数据生成。

实验结果

研究问题

• RQ1 在所调查的200多个自动驾驶数据集中，主导的传感器模态、数据规模和任务分布是怎样的？
• RQ2 主要数据集之间的标注质量有何差异，哪些因素对其影响最大？
• RQ3 每个数据集对研究社区的影响如何，能否实现定量衡量？
• RQ4 数据分布如何随地理区域、时间与传感器配置而变化，揭示了哪些偏差？
• RQ5 塑造下一代自动驾驶数据集的关键趋势与挑战是什么？

主要发现

• 影响得分指标成功识别出nuScenes、Waymo和KITTI等高影响力数据集，其高排名源于全面的标注和广泛的任务覆盖。
• 标注质量存在显著差异：nuScenes和Waymo表现出更优的标注一致性和3D边界框精度，而部分小型数据集则表现出较高的噪声与不一致性。
• 真实世界数据集主导感知任务，但合成数据集正迅速增长，尤其在数据增强与域适应任务中应用广泛。
• 端到端驾驶数据集仍属稀缺，仅识别出11个，表明在统一驾驶智能体的训练与评估方面存在关键空白。
• 视觉-语言数据集如DriveLM-nuScenes和LiDAR-text正在兴起，支持视觉问答与3D字幕等多模态任务。
• 基于VLM的数据生成，如DriveGAN和DriveDreamer，展现出强大潜力，可实现高保真度、多样化的合成数据，且人工标注需求极低。