[论文解读] K-Radar: 4D Radar Object Detection for Autonomous Driving in Various Weather Conditions

Dong-Hee Paek, Seung-Hyun Kong+1 more|arXiv (Cornell University)|Jun 16, 2022

Advanced SAR Imaging Techniques被引用 37

一句话总结

该论文介绍 KAIST-Radar (K-Radar)，一个用于多天气场景下的3D对象检测的大规模4D雷达张量（4DRT）数据集，并给出基线神经网络，显示高度信息至关重要，4DRT 在恶劣条件下具有鲁棒性。

ABSTRACT

Unlike RGB cameras that use visible light bands (384$\sim$769 THz) and Lidars that use infrared bands (361$\sim$331 THz), Radars use relatively longer wavelength radio bands (77$\sim$81 GHz), resulting in robust measurements in adverse weathers. Unfortunately, existing Radar datasets only contain a relatively small number of samples compared to the existing camera and Lidar datasets. This may hinder the development of sophisticated data-driven deep learning techniques for Radar-based perception. Moreover, most of the existing Radar datasets only provide 3D Radar tensor (3DRT) data that contain power measurements along the Doppler, range, and azimuth dimensions. As there is no elevation information, it is challenging to estimate the 3D bounding box of an object from 3DRT. In this work, we introduce KAIST-Radar (K-Radar), a novel large-scale object detection dataset and benchmark that contains 35K frames of 4D Radar tensor (4DRT) data with power measurements along the Doppler, range, azimuth, and elevation dimensions, together with carefully annotated 3D bounding box labels of objects on the roads. K-Radar includes challenging driving conditions such as adverse weathers (fog, rain, and snow) on various road structures (urban, suburban roads, alleyways, and highways). In addition to the 4DRT, we provide auxiliary measurements from carefully calibrated high-resolution Lidars, surround stereo cameras, and RTK-GPS. We also provide 4DRT-based object detection baseline neural networks (baseline NNs) and show that the height information is crucial for 3D object detection. And by comparing the baseline NN with a similarly-structured Lidar-based neural network, we demonstrate that 4D Radar is a more robust sensor for adverse weather conditions. All codes are available at https://github.com/kaist-avelab/k-radar.

研究动机与目标

• 提供一个基于4DRT的大规模 autonomous driving 数据集，包含在多样天气和道路条件下的3D边界框标注。
• 证明4DRT在3D目标检测中高度信息的重要性。
• 展示基于4DRT的感知在恶劣天气中的鲁棒性，相较于基于Lidar的系统。
• 发布基线神经网络和开发工具，以促进4DRT感知研究的发展。

提出的方法

• 捕获并标注35K帧的4DRT数据，包含4D功率测量（Doppler, Range, Azimuth, Elevation）和3D边界框。
• 提供辅助多模态传感器（64通道LiDAR, 128通道LiDAR, 360度立体相机, RTK-GPS/IMU）。
• 通过 BFS-2D 热力图可视化4DRT，以实现标注和标定。
• 开发两种直接消费4DRT的基线神经网络，一种带高度信息（3D-SCB骨干网络），另一种不带高度信息（2D-DCB骨干网络）。
• 将基于4DRT的检测器与在不同天气条件下的基线Lidar方法进行对比。
• 校准并提供4DRT感知的标注/标定/可视化开发工具包。

实验结果

研究问题

• RQ1 4DRT为基础的表示是否能够在保留高度信息的前提下实现准确的3D目标检测？
• RQ2 在恶劣天气下，基于4DRT的感知相较于基于Lidar的方法的表现如何？
• RQ3 在3D与BEV检测性能上，包含高度信息会带来怎样的影响？
• RQ4 社区如何利用开发工具包来加速基于4DRT的自动驾驶研究？

主要发现

• 4DRT基线在带高度信息时比无高度信息的变体在3D AP和BEV AP上表现更好（AP3D: 47.44% vs 40.12%；APBEV: 58.39% vs 50.67%）。
• 4DRT中的高度信息显著提升3D目标检测性能。
• 在恶劣天气下，基于4DRT的检测保持鲁棒性，在相似条件下常常优于基于 LiDAR 的方法。
• RTNH（带高度信息和3D-SCB骨干网络）使用的GPU内存低于无高度信息的RTN（2D-DCB骨干网络）。
• 在多天气条件下，基于4DRT的检测器表现出鲁棒性，雨夹雪/大雪对 LiDAR 的影响比对4DRT更大。