[论文解读] CARRADA Dataset: Camera and Automotive Radar with Range-Angle-Doppler Annotations

Arthur Ouaknine, Alasdair Newson+3 more|arXiv (Cornell University)|May 4, 2020

Advanced Optical Sensing Technologies参考文献 41被引用 10

一句话总结

本文介绍了CARRADA数据集，这是一个同步的相机与车载雷达数据集，包含丰富的距离-角度-Doppler标注，适用于目标检测、语义分割和跟踪任务。该研究提出了一种基于相机数据的半自动标注流程，并在雷达表示上评估了一个深度学习基线模型，在密集掩码和稀疏点检测任务中均取得了令人鼓舞的性能表现，尤其在距离-Doppler空间中表现突出。

ABSTRACT

High quality perception is essential for autonomous driving (AD) systems. To reach the accuracy and robustness that are required by such systems, several types of sensors must be combined. Currently, mostly cameras and laser scanners (lidar) are deployed to build a representation of the world around the vehicle. While radar sensors have been used for a long time in the automotive industry, they are still under-used for AD despite their appealing characteristics (notably, their ability to measure the relative speed of obstacles and to operate even in adverse weather conditions). To a large extent, this situation is due to the relative lack of automotive datasets with real radar signals that are both raw and annotated. In this work, we introduce CARRADA, a dataset of synchronized camera and radar recordings with range-angle-Doppler annotations. We also present a semi-automatic annotation approach, which was used to annotate the dataset, and a radar semantic segmentation baseline, which we evaluate on several metrics. Both our code and dataset are available online.

研究动机与目标

• 为解决自动驾驶领域中缺乏公开可用、高质量且标注精确的雷达数据集的问题。
• 开发一种基于相机数据的半自动标注方法，以相比基于激光雷达的标注方式显著降低标注成本与时间。
• 提供一个基于原始雷达信号的雷达感知任务基准，涵盖目标检测、语义分割与跟踪。
• 通过发布全面且公开可获取的数据集与代码，推动雷达数据深度学习与多传感器融合的研究。
• 证明直接在原始雷达表示上训练语义分割模型的可行性，结合密集与稀疏标注。

提出的方法

• 使用安装于车辆上的系统采集数据，包含前向摄像头与77 GHz车载雷达传感器。
• 同步记录视频与原始雷达数据，并将雷达信号处理为距离-角度与距离-Doppler表示。
• 开发了一套半自动标注流程，利用基于相机的目标检测结果与物理约束（如速度、尺寸）将目标位置投影至雷达空间。
• 标注内容包括行人、汽车与自行车的稀疏点、边界框与密集掩码，每类目标均分配唯一ID以支持跟踪。
• 基于语义分割网络架构，在单张GPU上使用PyTorch训练了一个深度学习基线模型，使用密集掩码标注进行训练。
• 评估指标包括IoU、像素精确率与像素召回率，通过三次随机种子取平均以确保结果一致性。

实验结果

研究问题

• RQ1 基于相机数据的半自动标注流程是否能在无需激光雷达或人工标注的情况下，生成准确可靠的雷达标注？
• RQ2 深度神经网络在仅使用稀疏或密集标注的情况下，能否有效学习原始雷达表示中的对象分割？
• RQ3 在语义分割任务中，距离-Doppler表示与距离-角度表示之间的性能差距如何？
• RQ4 不同标注类型（密集掩码与稀疏点）对模型评估与定位精度有何影响？
• RQ5 雷达信号的时间动态特性在多大程度上可被利用以提升雷达数据中的目标检测与跟踪性能？

主要发现

• 基于相机数据与物理约束的半自动标注流程成功生成了高精度的雷达标注，显著降低了标注成本与时间。
• 深度学习基线在密集掩码标注上表现优异，距离-Doppler表示下的平均IoU达到0.63，平均像素精确率达到0.72。
• 稀疏点标注的性能优于密集掩码，表明关键点定位精度更高。
• 距离-Doppler表示优于距离-角度表示，主要得益于雷达传感器输出中更好的角度分辨率。
• 尽管未使用时间信息，模型仍表现出良好性能，表明未来集成序列建模具有巨大潜力。
• 由于稀疏点标注不完整，背景类别在稀疏点上无法评估，限制了该类型标注的评估范围。