[论文解读] RADIATE: A Radar Dataset for Automotive Perception.

Marcel Sheeny, Emanuele De Pellegrin+4 more|arXiv (Cornell University)|Oct 18, 2020

Advanced Neural Network Applications参考文献 20被引用 38

一句话总结

RADIATE 是一个大规模、公开可用的雷达数据集，涵盖了在各种天气条件（例如，雾、雪、雨）和驾驶场景（城市、高速公路、郊区）下获取的高分辨率雷达图像。该数据集包含超过20万条标注的道路上参与者，覆盖8个类别，可支持雷达基础的目标检测、跟踪和场景理解研究，尤其在相机和LiDAR失效的恶劣条件下表现突出。

ABSTRACT

Datasets for autonomous cars are essential for the development and benchmarking of perception systems. However, most existing datasets are captured with camera and LiDAR sensors in good weather conditions. In this paper, we present the RAdar Dataset In Adverse weaThEr (RADIATE), aiming to facilitate research on object detection, tracking and scene understanding using radar sensing for safe autonomous driving. RADIATE includes 3 hours of annotated radar images with more than 200K labelled road actors in total, on average about 4.6 instances per radar image. It covers 8 different categories of actors in a variety of weather conditions (e.g., sun, night, rain, fog and snow) and driving scenarios (e.g., parked, urban, motorway and suburban), representing different levels of challenge. To the best of our knowledge, this is the first public radar dataset which provides high-resolution radar images on public roads with a large amount of road actors labelled. The data collected in adverse weather, e.g., fog and snowfall, is unique. Some baseline results of radar based object detection and recognition are given to show that the use of radar data is promising for automotive applications in bad weather, where vision and LiDAR can fail. RADIATE also has stereo images, 32-channel LiDAR and GPS data, directed at other applications such as sensor fusion, localisation and mapping. The public dataset can be accessed at this http URL.

研究动机与目标

• 解决自动驾驶领域缺乏大规模、公开可用的雷达数据集，尤其是在恶劣天气条件下的问题。
• 提供高分辨率雷达图像，并对道路上的参与者进行密集且精确的标注，以支持目标检测与跟踪研究。
• 支持在能见度低、视觉与LiDAR传感器性能下降的复杂环境（如雾、雪和夜间）中开展雷达感知研究。
• 通过同步的立体图像、32通道LiDAR和GPS数据，支持传感器融合、定位与地图构建研究。

提出的方法

• 在公共道路上使用高分辨率4D成像雷达传感器，采集涵盖多种天气和驾驶场景的雷达数据。
• 在每张雷达图像中，对8个类别的道路参与者（如车辆、行人、自行车骑行者）进行超过20万个实例的边界框标注。
• 记录同步的立体图像、32通道LiDAR和GPS/IMU数据，以支持多模态感知与传感器融合研究。
• 通过在不同光照条件（白天/夜间）、降水类型（雨、雪）和大气状况（雾）下采集数据，确保数据多样性。
• 公开发布该数据集，以支持雷达基础的汽车感知研究中的基准测试与可复现性研究。

实验结果

研究问题

• RQ1 雷达感知系统是否能在雾和雪等恶劣天气条件下实现鲁棒性能，而这些条件下相机和LiDAR会失效？
• RQ2 在真实驾驶场景中，雷达数据的质量与可检测性在不同天气和光照条件下如何变化？
• RQ3 在复杂的城市和郊区环境中，仅依靠雷达数据在多大程度上能够支持自动驾驶车辆的精确目标检测与跟踪？
• RQ4 在与立体视觉和LiDAR融合时，雷达数据在场景理解与定位方面的有效性如何？

主要发现

• RADIATE 是首个公开发布的雷达数据集，提供在广泛恶劣天气条件下具有密集标注的高分辨率雷达图像。
• 该数据集包含超过20万个标注实例，覆盖8个参与者类别，平均每张图像包含4.6个实例，支持对雷达感知性能的详细分析。
• 基线结果表明，雷达目标检测在传统传感器（如相机和LiDAR）性能显著下降的恶劣天气下仍具可行性且前景可观。
• 通过整合立体图像、32通道LiDAR和GPS数据，该数据集支持超越单一雷达感知的传感器融合、定位与地图构建等高级研究。