[论文解读] RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects

Bin Yang, Runsheng Benson Guo+3 more|arXiv (Cornell University)|Jul 28, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用 11

一句话总结

RadarNet 提出了一种新颖的融合框架，通过体素级早期融合结合激光雷达与雷达数据，以实现几何精度，同时利用基于注意力的晚期融合进行动态速度估计。该方法在3D目标检测与速度估计任务中达到最先进性能，显著提升了远距离检测能力与对动态目标的运动理解，尤其在激光雷达数据稀疏或雷达信号密度低的复杂条件下表现突出。

ABSTRACT

We tackle the problem of exploiting Radar for perception in the context of self-driving as Radar provides complementary information to other sensors such as LiDAR or cameras in the form of Doppler velocity. The main challenges of using Radar are the noise and measurement ambiguities which have been a struggle for existing simple input or output fusion methods. To better address this, we propose a new solution that exploits both LiDAR and Radar sensors for perception. Our approach, dubbed RadarNet, features a voxel-based early fusion and an attention-based late fusion, which learn from data to exploit both geometric and dynamic information of Radar data. RadarNet achieves state-of-the-art results on two large-scale real-world datasets in the tasks of object detection and velocity estimation. We further show that exploiting Radar improves the perception capabilities of detecting faraway objects and understanding the motion of dynamic objects.

研究动机与目标

• 解决在恶劣条件下基于激光雷达与摄像头的感知系统在远距离检测与速度估计方面的局限性。
• 克服自动驾驶感知中稀疏、噪声大且模糊的雷达数据带来的挑战。
• 开发一种统一的深度学习框架，有效利用雷达与激光雷达提供的几何与动态信息。
• 提升动态目标的速度估计精度，尤其是在激光雷达数据稀疏或被遮挡的情况下。
• 在无真实标注监督的情况下，学习雷达目标与目标检测结果之间的鲁棒关联关系。

提出的方法

• 采用体素级早期融合策略，将激光雷达点云与雷达回波在体素层级进行融合，以增强几何表征并提升远距离检测能力。
• 设计基于注意力的晚期融合模块，学习雷达目标与检测到的目标之间的关联关系，并对两种传感器模态的不确定性进行建模。
• 注意力机制根据雷达速度测量的可靠性动态加权，将一维径向速度转换为准确的二维目标速度估计。
• 网络采用单阶段3D检测器，结合鸟瞰图（BEV）特征表示，实现高效且精确的目标检测。
• 模型在大规模真实世界数据集上进行端到端训练，学习多模态传感器数据的融合，同时有效处理各类传感器特有的噪声与模糊性。
• 消融实验验证了各组件的贡献，表明早期与晚期融合阶段对性能提升均至关重要。

实验结果

研究问题

• RQ1 如何有效融合雷达数据与激光雷达数据，以提升远距离3D目标检测性能？
• RQ2 基于注意力的融合机制是否能在无真实关联标注的情况下，学习将噪声雷达目标与目标检测结果进行关联？
• RQ3 在信噪比低或数据稀疏的场景下，雷达能在多大程度上提升动态目标的速度估计精度？
• RQ4 与启发式或简单融合基线相比，所提出的融合框架在鲁棒性与性能方面表现如何？
• RQ5 传感器不确定性在多传感器融合中扮演何种角色？如何在深度学习架构中有效建模这种不确定性？

主要发现

• RadarNet 在 nuScenes 与 DenseRadar 数据集上均达到最先进性能，在3D目标检测与速度估计任务中超越以往方法。
• 在 DenseRadar 数据集上，模型在70–100米距离范围内的检测平均精度（AP）提升+0.8%，表明得益于雷达的远距离感知能力，远距离感知能力显著增强。
• 基于注意力的晚期融合将速度估计误差降低19%（在 DenseRadar 上），显著优于启发式基线，尤其在高噪声或低信号场景下表现突出。
• 在 nuScenes 上速度误差降低14%，在 DenseRadar 上降低19%，最大性能增益出现在高目标角度（相对于径向方向）或低目标速度等挑战性条件下。
• 注意力模块有效捕捉了传感器不确定性，在径向速度模糊时（例如运动方向接近与传感器视线相切）能避免不可靠的雷达关联。
• 定性结果表明，雷达目标与检测结果之间具有鲁棒且稀疏的关联关系，模型能正确排除噪声或不可靠的雷达回波。