[论文解读] HVDetFusion: A Simple and Robust Camera-Radar Fusion Framework

Kai Lei, Zhan Chen+2 more|arXiv (Cornell University)|Jul 21, 2023

Advanced Neural Network Applications被引用 4

一句话总结

HVDetFusion 是一种新颖的、解耦的相机-雷达融合框架，用于自动驾驶中的3D目标检测，基于 BevDet4D 主干网络实现纯相机推理，并通过时空先验融合雷达数据以减少误报。其在 nuScenes 测试集上实现了 67.4% 的 NDS，优于现有的相机-雷达检测器，尤其在行人和交通锥等小目标上表现更优。

ABSTRACT

In the field of autonomous driving, 3D object detection is a very important perception module. Although the current SOTA algorithm combines Camera and Lidar sensors, limited by the high price of Lidar, the current mainstream landing schemes are pure Camera sensors or Camera+Radar sensors. In this study, we propose a new detection algorithm called HVDetFusion, which is a multi-modal detection algorithm that not only supports pure camera data as input for detection, but also can perform fusion input of radar data and camera data. The camera stream does not depend on the input of Radar data, thus addressing the downside of previous methods. In the pure camera stream, we modify the framework of Bevdet4D for better perception and more efficient inference, and this stream has the whole 3D detection output. Further, to incorporate the benefits of Radar signals, we use the prior information of different object positions to filter the false positive information of the original radar data, according to the positioning information and radial velocity information recorded by the radar sensors to supplement and fuse the BEV features generated by the original camera data, and the effect is further improved in the process of fusion training. Finally, HVDetFusion achieves the new state-of-the-art 67.4\% NDS on the challenging nuScenes test set among all camera-radar 3D object detectors. The code is available at https://github.com/HVXLab/HVDetFusion

研究动机与目标

• 开发一种灵活、鲁棒且高效的多模态 3D 目标检测框架，支持纯相机与相机-雷达融合推理。
• 解决先前融合方法的局限性——即相机流运行时必须依赖雷达输入，从而实现独立的相机性能。
• 通过有效融合雷达数据（利用空间和径向速度先验），提升检测精度，特别是对小目标和困难目标的检测。
• 仅使用相机和雷达传感器，在具有挑战性的 nuScenes 基准上实现 SOTA 性能，避免使用昂贵的 LiDAR。

提出的方法

• 采用双流、解耦架构：基于 BevDet4D 的流用于纯相机推理，另一独立的雷达融合流用于处理雷达数据。
• 利用雷达提供的空间位置和径向速度先验，对原始雷达检测结果进行过滤，以减少误报。
• 在训练过程中，通过可学习的交叉注意力机制将雷达增强特征与相机生成的 BEV 特征进行融合。
• 采用多帧时间建模策略，利用 8 个未来帧以提升运动和速度估计性能。
• 采用先进的主干网络（ConvNeXt-Base、Internimage-Base）和高分辨率输入（640×1600）以增强特征表示能力。
• 应用 COCO 预训练，并通过消融实验驱动的超参数调优，以优化训练效率与性能。

实验结果

研究问题

• RQ1 解耦的相机-雷达融合框架是否能在保持强大独立相机性能的同时，实现有效的雷达融合？
• RQ2 融合雷达先验（位置与径向速度）如何提升 BEV 特征质量并减少误报？
• RQ3 时间建模（多帧输入）与主干网络选择对相机-雷达融合中 3D 检测精度有何影响？
• RQ4 高分辨率输入与预训练在提升行人和护栏等小目标检测性能方面有多大作用？

主要发现

• HVDetFusion 在所有相机-雷达 3D 目标检测器中，于 nuScenes 测试集上实现了新的 SOTA 67.4% NDS。
• 与 BevDet-Gamma 相比，该模型在卡车、公共汽车和摩托车上的检测性能分别提升了 4.7%、5.8% 和 5.6%。
• 与 CRN 相比，其在行人上 mAP 提升 8.6%，在交通锥上提升 7.8%，在护栏上提升 12.1%，表明在小目标上取得显著增益。
• 雷达融合使 NDS 从纯相机（8 个未来帧）的 55.7% 提升至 65.2%，证明了雷达融合模块的有效性。
• 使用 ConvNeXt-Base 或 Internimage-Base 主干网络可将 NDS 提升至 58.7%，表明更强特征提取器的优势。
• 与 256×704 相比，更高输入分辨率（640×1600）使 NDS 提升 5.4%，凸显空间细节的重要性。