[论文解读] Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection

Yingjie Wang, Jiajun Deng+7 more|arXiv (Cornell University)|Jun 2, 2023

Advanced SAR Imaging Techniques被引用 4

一句话总结

Bi-LRFusion 提出了一种用于 3D 动态物体检测的双向 LiDAR-Radar 融合框架，通过查询式高度特征融合（QHF）模块从 LiDAR 点云中学习伪高度特征，以弥补雷达数据缺乏高度信息的缺陷，并通过查询式 BEV 特征融合（QBF）模块增强雷达 BEV 特征。该方法在相似高度物体上实现 2.3% 的 AP 提升，在高大物体上实现 1.3% 的 AP 提升，且在 40 米以外的远距离检测中优于仅使用 LiDAR 的基线模型。

ABSTRACT

LiDAR and Radar are two complementary sensing approaches in that LiDAR specializes in capturing an object's 3D shape while Radar provides longer detection ranges as well as velocity hints. Though seemingly natural, how to efficiently combine them for improved feature representation is still unclear. The main challenge arises from that Radar data are extremely sparse and lack height information. Therefore, directly integrating Radar features into LiDAR-centric detection networks is not optimal. In this work, we introduce a bi-directional LiDAR-Radar fusion framework, termed Bi-LRFusion, to tackle the challenges and improve 3D detection for dynamic objects. Technically, Bi-LRFusion involves two steps: first, it enriches Radar's local features by learning important details from the LiDAR branch to alleviate the problems caused by the absence of height information and extreme sparsity; second, it combines LiDAR features with the enhanced Radar features in a unified bird's-eye-view representation. We conduct extensive experiments on nuScenes and ORR datasets, and show that our Bi-LRFusion achieves state-of-the-art performance for detecting dynamic objects. Notably, Radar data in these two datasets have different formats, which demonstrates the generalizability of our method. Codes are available at https://github.com/JessieW0806/BiLRFusion.

研究动机与目标

• 解决雷达无法捕捉物体高度所带来的问题，该问题导致不同物体类型间检测性能不一致。
• 通过双向融合 LiDDR 与雷达特征，提升相似高度和高大物体的 3D 物体检测精度。
• 在 LiDAR 点云稀疏的远距离区域，利用雷达的稳定远距离覆盖能力，提升检测性能。
• 设计对传感器错位具有鲁棒性的融合机制，确保在真实世界校准误差下仍能保持可靠性能。
• 通过在多个仅使用 LiDAR 的检测器（包括 CenterPoint 和 TransFusion-L）上应用该框架，验证其泛化能力。

提出的方法

• 引入一种基于查询的高度特征融合（QHF）模块，从 LiDAR 点云中学习伪高度特征，以补偿雷达缺乏高度信息的缺陷。
• 采用基于查询的 BEV 特征融合（QBF）模块，利用详细的 LiDAR 特征优化雷达 BEV 特征，提升对小物体或远距离物体的检测能力。
• 采用双向融合策略：R2L（雷达到 LiDAR）和 L2R（LiDAR 到雷达），实现跨模态特征增强。
• 应用球查询和基于曼哈顿距离的 BEV 查询，聚合空间邻域内的特征，确保局部化且上下文感知的融合。
• 采用基于 PointNet 和 MLP 的主干网络，从 LiDAR 和雷达点云中提取特征，输出通道数设为 32。
• 采用多尺度融合机制，根据查询位置动态选择相关特征，提升对传感器错位的鲁棒性。

实验结果

研究问题

• RQ1 雷达数据缺乏高度信息在不同高度物体上的 3D 物体检测性能中产生何种影响？
• RQ2 从 LiDAR 学习伪高度特征在提升雷达对高大物体检测能力方面能发挥多大作用？
• RQ3 基于查询的融合机制能否利用详细 LiDAR 特征增强雷达 BEV 特征，尤其对小物体或远距离物体？
• RQ4 在 LiDAR 点云密度下降的远距离区域，所提出的融合框架性能如何？
• RQ5 该融合框架在真实自动驾驶场景中对传感器错位的容忍度如何？

主要发现

• 与仅使用 LiDAR 的基线相比，QHF 模块在相似高度物体上使平均 AP 提升 2.3%，在高大物体上提升 1.3%，证明其在补偿雷达高度限制方面的有效性。
• 仅使用 QBF 模块时，在相似高度物体上 AP 提升 4.1%，在高大物体上提升 0.4%，表明详细 LiDAR 特征可显著增强雷达 BEV 表示。
• 在 40 米以外的距离，Bi-LRFusion 在汽车检测上的 mAP 比仅使用 LiDAR 的 CenterPoint 基线高出 2.2%，凸显其在远距离检测中的优势。
• 在传感器错位等级达到 3 时，框架性能仅下降 0.6% mAP，且在等级 4 时显著下降，表明其具有实际可接受的容错极限。
• 在 TransFusion-L 上应用 Bi-LRFusion 后，mAP 从 65.3% 提升至 67.5%，mAVE 从 24.8 降低至 23.7，证实其在不同检测架构中的泛化能力。