[论文解读] Dual Radar: A Multi-modal Dataset with Dual 4D Radar for Autonomous Driving

Xinyu Zhang, Li Wang+12 more|arXiv (Cornell University)|Oct 11, 2023

Advanced Optical Sensing Technologies被引用 5

一句话总结

本论文介绍了Dual Radar数据集，这是一个大规模多模态数据集，包含在不同驾驶条件下同步采集的两台不同传感器——ARS548 RDI和Arbe Phoenix——的高分辨率4D雷达数据。该数据集支持自动驾驶中4D雷达性能的对比分析，表明ARS548 RDI在检测骑行者方面优于Arbe Phoenix雷达（准确率高出1.64%），且与LiDAR融合的多模态方法显著提升了3D目标检测性能，尤其在恶劣天气条件下表现更优。

ABSTRACT

Radar has stronger adaptability in adverse scenarios for autonomous driving environmental perception compared to widely adopted cameras and LiDARs. Compared with commonly used 3D radars, the latest 4D radars have precise vertical resolution and higher point cloud density, making it a highly promising sensor for autonomous driving in complex environmental perception. However, due to the much higher noise than LiDAR, manufacturers choose different filtering strategies, resulting in an inverse ratio between noise level and point cloud density. There is still a lack of comparative analysis on which method is beneficial for deep learning-based perception algorithms in autonomous driving. One of the main reasons is that current datasets only adopt one type of 4D radar, making it difficult to compare different 4D radars in the same scene. Therefore, in this paper, we introduce a novel large-scale multi-modal dataset featuring, for the first time, two types of 4D radars captured simultaneously. This dataset enables further research into effective 4D radar perception algorithms.Our dataset consists of 151 consecutive series, most of which last 20 seconds and contain 10,007 meticulously synchronized and annotated frames. Moreover, our dataset captures a variety of challenging driving scenarios, including many road conditions, weather conditions, nighttime and daytime with different lighting intensities and periods. Our dataset annotates consecutive frames, which can be applied to 3D object detection and tracking, and also supports the study of multi-modal tasks. We experimentally validate our dataset, providing valuable results for studying different types of 4D radars. This dataset is released on https://github.com/adept-thu/Dual-Radar.

研究动机与目标

• 通过提供同步的多模态数据集，填补自动驾驶领域中不同4D雷达传感器对比研究的空白。
• 通过在同一场景中采集两种不同4D雷达类型的数据，支持4D雷达感知算法的研究。
• 在复杂环境条件下支持3D目标检测、跟踪及多模态融合任务的研究。
• 提供实证证据，说明点云密度和噪声水平对深度学习模型在恶劣天气和低能见度场景下的影响。
• 促进开发能够处理异构4D雷达数据的鲁棒感知系统，适应不同传感器特性。

提出的方法

• 使用配备两台4D雷达、LiDAR、摄像头以及GNSS/IMU的测试车辆，采集151个连续数据序列（共10,007帧同步帧）。
• 通过高精度时间同步和传感器标定，实现多模态数据对齐，包括在LiDAR点云上进行的3D边界框标注。
• 在多种环境下采集数据：白天/夜间、光照变化、降雨、雾天、降雪，以及复杂的城市和高速公路场景。
• 对LiDAR点云实施一致的3D目标标注，作为评估基于雷达检测性能的真值。
• 实现多模态融合基线方法（如M2-Fusion、VFF），结合LiDAR、雷达和摄像头数据，以评估性能提升效果。
• 使用PointPillars和RDIoU模型在雷达点云上评估检测性能，并对比不同传感器类型和天气条件下的结果。

实验结果

研究问题

• RQ1 在相同条件下，不同4D雷达传感器（ARS548 RDI与Arbe Phoenix）在点云密度、噪声水平和检测性能方面有何差异？
• RQ2 雷达点云质量（密度与噪声）对深度学习驱动的3D目标检测与跟踪在恶劣天气下的影响如何？
• RQ3 LiDAR与4D雷达的多模态融合在提升检测精度方面有多有效，特别是在检测小尺寸或低金属物体（如骑行者和行人）方面？
• RQ4 在雨天、雾天或雪天等恶劣天气条件下，4D雷达能否优于LiDAR？这种优势在不同雷达型号之间是否有所差异？
• RQ5 不同传感器配置（如ARS548 RDI与Arbe Phoenix）如何影响感知模型在复杂驾驶环境中的泛化能力与鲁棒性？

主要发现

• 使用PointPillars模型时，ARS548 RDI雷达在‘Cyclist’类别上的检测准确率比Arbe Phoenix雷达高出1.64%，表明其在低金属物体检测方面表现更优。
• 将LiDAR与ARS548 RDI雷达融合后，3D目标检测性能相比与Arbe Phoenix雷达融合提升了4.72%，尤其显著改善了骑行者检测。
• 在鸟瞰图（BEV）视图中，M2-Fusion模型在融合LiDAR与ARS548 RDI雷达数据时，对‘Car’类目标的检测性能比仅使用PointPillars高出30.24%。
• 在雨天条件下，RDIoU模型在Arbe Phoenix雷达数据上的BEV检测性能比在LiDAR数据上高出14.78%，显示出雷达在恶劣天气下的优势。
• 使用摄像头和LiDAR数据的VFF模型在BEV视图中‘Car’类目标的检测性能相比大多数单模态模型高出25.16%，凸显了多模态融合的价值。
• 尽管ARS548 RDI在‘Cyclist’和‘Car’类别上表现更优，但Arbe Phoenix在使用RDIoU模型时对‘Pedestrian’类别的检测表现更佳，表明各传感器具有特定优势。