[论文解读] Mcity Data Collection for Automated Vehicles Study

Yiqun Dong, Yuanxin Zhong+6 more|arXiv (Cornell University)|Dec 12, 2019

Autonomous Vehicle Technology and Safety参考文献 32被引用 13

一句话总结

本论文介绍了Mcity数据集，这是一个全面的开源多传感器数据集（包含摄像头、激光雷达、雷达、RTK、车辆控制信号以及车内摄像头），数据来源于Mcity测试场的开放道路自然驾驶和精心设计的城市场景驾驶。其主要贡献在于提供了一个独特且完整的、按场景组织的数据集，涵盖多样的光照、天气、道路状况及驾驶行为（包括合规与违规操作），可支持自动驾驶感知与控制系统鲁棒的训练与评估。

ABSTRACT

The main goal of this paper is to introduce the data collection effort at Mcity targeting automated vehicle development. We captured a comprehensive set of data from a set of perception sensors (Lidars, Radars, Cameras) as well as vehicle steering/brake/throttle inputs and an RTK unit. Two in-cabin cameras record the human driver's behaviors for possible future use. The naturalistic driving on selected open roads is recorded at different time of day and weather conditions. We also perform designed choreography data collection inside the Mcity test facility focusing on vehicle to vehicle, and vehicle to vulnerable road user interactions which is quite unique among existing open-source datasets. The vehicle platform, data content, tags/labels, and selected analysis results are shown in this paper.

研究动机与目标

• 为解决缺乏涵盖所有主要自动驾驶传感器类型（摄像头、激光雷达、雷达）且具一致标注的综合性开源数据集的问题。
• 通过在自然驾驶之外，收集经过精心设计、安全受控的场景数据，重点聚焦于交叉路口复杂交互行为，以提升自动驾驶车辆的开发水平。
• 通过提供完整且带标注的数据集，涵盖具有挑战性的驾驶行为（包括违规行为）和恶劣天气/光照条件，支持数据驱动的感知与控制研究。
• 通过将数据组织为独立的驾驶场景（如变道、转弯、高速公路出入口等），支持自动驾驶系统的情景化评估。
• 通过增加光照、天气、道路状况、图像质量及驾驶行为的详细标注，提升数据集的实用性。

提出的方法

• 在测试车辆上部署全套感知传感器（32束Velodyne激光雷达、Ibeo激光雷达、多个摄像头、雷达、RTK GNSS）以及车辆控制传感器（方向盘、制动、油门）。
• 在不同时间段、天气条件（包括雨天、雪天、雾天）和光照条件下，在固定开放道路路线上收集自然驾驶数据。
• 在Mcity测试场内执行精心设计的驾驶场景，重点聚焦于车辆与车辆、车辆与行人、车辆与骑行者在交叉路口的交互行为。
• 设计场景时包含正常行为（礼貌、守法）和异常行为（激进、违规）以捕捉边缘情况。
• 实施详细的数据标签，包括驾驶场景（如左转、变道）、光照、天气、路面状况、图像质量及道路类型。
• 将数据按场景分段组织，以支持行为预测与控制系统训练与评估。

实验结果

研究问题

• RQ1 如何收集一个综合性多传感器数据集，以支持在多样化真实世界条件下自动驾驶车辆的鲁棒感知与控制？
• RQ2 与仅依赖自然驾驶数据相比，包含精心设计的、基于情景的数据在多大程度上能提升自动驾驶系统评估的准确性？
• RQ3 在真实世界驾驶场景中，不同传感器类型（如32束激光雷达与4束激光雷达）在不同环境条件下的表现如何？
• RQ4 详细的、基于情景的数据组织方式是否能提升数据驱动自动驾驶感知模型的训练与评估效果？
• RQ5 恶劣条件（如光照不足、大雾、降雪、镜头凝露）在感知系统性能中起什么作用？如何系统性地捕捉并标注这些条件？

主要发现

• Mcity数据集包含50小时自然驾驶数据和3,000英里数据，覆盖多样的光照、天气和交通条件，具备完整的传感器覆盖（摄像头、激光雷达、雷达及车辆控制信号）。
• 该数据集独特地同时包含自然驾驶与精心设计的场景，后者聚焦于复杂城市交互行为，如无保护左转和礼让行为。
• 数据系统性地组织为七个独立驾驶场景——左转、右转、左变道、右变道、匝道入口、高速公路出口和车道保持，支持情景化分析。
• 数据集包含对光照（白天/夜晚）、天气（晴天、雨天、雪天、雾天）、路面状况（如积雪覆盖、路面破损）及图像质量（如镜头凝露、模糊）的详细标注。
• 包含违规行为（如未让行的危险左转）的数据，为训练系统识别并响应非合规道路使用者行为提供了关键支持。
• 该数据集是目前唯一同时结合三种主要自动驾驶传感器类型（摄像头、激光雷达、雷达）、完整车辆控制信号以及全面情景化标注的开源数据集。