[论文解读] MVFAN: Multi-View Feature Assisted Network for 4D Radar Object Detection

Qiao Yan, Yihan Wang|arXiv (Cornell University)|Oct 25, 2023

Advanced SAR Imaging Techniques被引用 4

一句话总结

MVFAN 提出了一种端到端、无锚点、单阶段的 4D 毫米波雷达 3D 目标检测框架，通过一种新颖的定位图生成模块重加权前景与背景点，以增强特征学习，并通过雷达特征增强主干网络，充分挖掘多普勒速度与反射率信息。该方法在 Astyx 和 VoD 数据集上实现了最先进性能，显著提升了对行人和自行车等小尺寸运动目标的检测能力。

ABSTRACT

4D radar is recognized for its resilience and cost-effectiveness under adverse weather conditions, thus playing a pivotal role in autonomous driving. While cameras and LiDAR are typically the primary sensors used in perception modules for autonomous vehicles, radar serves as a valuable supplementary sensor. Unlike LiDAR and cameras, radar remains unimpaired by harsh weather conditions, thereby offering a dependable alternative in challenging environments. Developing radar-based 3D object detection not only augments the competency of autonomous vehicles but also provides economic benefits. In response, we propose the Multi-View Feature Assisted Network ( extit{MVFAN}), an end-to-end, anchor-free, and single-stage framework for 4D-radar-based 3D object detection for autonomous vehicles. We tackle the issue of insufficient feature utilization by introducing a novel Position Map Generation module to enhance feature learning by reweighing foreground and background points, and their features, considering the irregular distribution of radar point clouds. Additionally, we propose a pioneering backbone, the Radar Feature Assisted backbone, explicitly crafted to fully exploit the valuable Doppler velocity and reflectivity data provided by the 4D radar sensor. Comprehensive experiments and ablation studies carried out on Astyx and VoD datasets attest to the efficacy of our framework. The incorporation of Doppler velocity and RCS reflectivity dramatically improves the detection performance for small moving objects such as pedestrians and cyclists. Consequently, our approach culminates in a highly optimized 4D-radar-based 3D object detection capability for autonomous driving systems, setting a new standard in the field.

研究动机与目标

• 解决在 4D 毫米波雷达 3D 目标检测中多普勒速度与反射率未被充分利用的问题。
• 应对雷达点云稀疏性与分布不规则带来的挑战。
• 在恶劣天气条件下，提升对行人和自行车等小尺寸动态目标的检测性能。
• 开发一种统一的端到端框架，充分利用鸟瞰图（BEV）与圆柱投影的多视角特征。
• 验证在单阶段检测器中引入雷达特异性特征（多普勒速度、反射率）与空间重加权机制的有效性。

提出的方法

• 提出一种定位图生成模块，为前景点及其特征分配更高权重，以缓解雷达点云分布不规则的问题。
• 采用基于鸟瞰图（BEV）与圆柱柱体投影的多视角特征提取策略，生成更丰富、分层的特征图。
• 提出一种新型雷达特征增强主干网络，将多普勒速度与雷达截面积（RCS）反射率作为输入通道，以增强特征表征能力。
• 使用单阶段、无锚点检测头，从多视角特征端到端预测 3D 边界框。
• 采用可配置分辨率的网格投影（BEV 与圆柱形），在空间分辨率与计算效率之间取得平衡。
• 采用重加权机制，优先处理可能源自物体的点，提升在稀疏场景下的检测鲁棒性。

实验结果

研究问题

• RQ1 多普勒速度与反射率的融合是否能提升 4D 毫米波雷达点云中的 3D 目标检测性能？
• RQ2 与单视角方法相比，BEV 与圆柱投影的多视角特征融合在特征表征方面有何增强作用？
• RQ3 通过定位图对前景与背景点进行重加权，能在多大程度上缓解雷达点云稀疏性与分布不规则的影响？
• RQ4 端到端、无锚点、单阶段框架是否优于将现有 LiDAR 检测器适配至雷达数据的方法？
• RQ5 不同网格尺寸配置在所提出的多视角框架中对检测精度与推理速度有何影响？

主要发现

• 所提出的 MVFAN 框架在 Astyx 与 VoD 数据集上均实现了最先进性能，优于现有 4D 毫米波雷达 3D 目标检测方法。
• 与不使用定位图模块的基线方法相比，该模块使 mAP 提升最高达 5.5%，mAOS 提升最高达 10.5%。
• 雷达特征增强主干网络显著提升了对小尺寸运动目标的检测能力：在 VoD 数据集上，行人 mAP 提升 4.5%，自行车 mAP 提升 5.2%，相较标准 PointPillars 模型。
• 性能最佳的配置（$BEV16$-$cyl5$）在驾驶走廊场景下实现了 34.05% 的 mAP 与 31.58% 的 mAOS，展现出在关键区域的强鲁棒性。
• 消融实验证实，多普勒速度与反射率均对检测精度有显著贡献，当两者同时使用时，mAP 相较仅使用几何特征提升 7.3%。
• MVFAN 在 $BEV16$-$cyl5$ 配置下的推理速度达到 64.48 FPS，表明其在自动驾驶应用中具备实时可行性。