[论文解读] Range-Aware Attention Network for LiDAR-based 3D Object Detection with Auxiliary Point Density Level Estimation

Yantao Lu, Xuetao Hao+4 more|arXiv (Cornell University)|Nov 18, 2021

Advanced Neural Network Applications被引用 6

一句话总结

该论文提出Range-Aware Attention Network (RAANet)，一种轻量化、实时的LiDAR点云3D目标检测框架，通过引入Range-Aware Attention Convolutions (RAAConv) 自适应处理稀疏与密集区域，提升鸟瞰图（BEV）特征提取能力。此外，通过辅助的密度等级估计模块进一步改善遮挡目标的检测性能，在nuScenes和KITTI数据集上实现最先进性能，推理速度达16 Hz。

ABSTRACT

3D object detection from LiDAR data for autonomous driving has been making remarkable strides in recent years. Among the state-of-the-art methodologies, encoding point clouds into a bird's eye view (BEV) has been demonstrated to be both effective and efficient. Different from perspective views, BEV preserves rich spatial and distance information between objects. Yet, while farther objects of the same type do not appear smaller in the BEV, they contain sparser point cloud features. This fact weakens BEV feature extraction using shared-weight convolutional neural networks (CNNs). In order to address this challenge, we propose Range-Aware Attention Network (RAANet), which extracts effective BEV features and generates superior 3D object detection outputs. The range-aware attention (RAA) convolutions significantly improve feature extraction for near as well as far objects. Moreover, we propose a novel auxiliary loss for point density estimation to further enhance the detection accuracy of RAANet for occluded objects. It is worth to note that our proposed RAA convolution is lightweight and compatible to be integrated into any CNN architecture used for detection from a BEV. Extensive experiments on the nuScenes and KITTI datasets demonstrate that our proposed approach outperforms the state-of-the-art methods for LiDAR-based 3D object detection, with real-time inference speed of 16 Hz for the full version and 22 Hz for the lite version tested on nuScenes lidar frames. The code is publicly available at our Github repository https://github.com/erbloo/RAAN.

研究动机与目标

• 为解决因自车距离变化导致的BEV LiDAR点云中特征表示不一致的问题。
• 提升远距离和遮挡目标的检测精度，这些目标因点云稀疏和特征模糊而难以检测。
• 设计一种轻量化、实时的检测框架，与现有基于BEV的CNN架构兼容。
• 在训练过程中引入遮挡感知能力，而不增加推理成本，通过辅助的密度等级估计模块实现。

提出的方法

• 提出RAAConv，一种具有共享权重卷积的双分支卷积层，可分别从BEV特征图中的密集区域和稀疏区域提取特征。
• 引入距离和位置编码，生成对位置敏感的注意力图，根据空间上下文调制特征图。
• 应用可学习的标量gamma，自适应缩放注意力图，使网络能够适应训练过程中数据分布的变化。
• 引入辅助密度等级估计模块（ADLE），预测每个目标的点云密度等级，引导网络更好地处理遮挡情况。
• 采用多任务损失函数，并使用可学习权重λ_aux = 0.2，平衡检测与密度估计任务的训练。
• 在推理阶段移除ADLE模块，以保持实时性能，确保在nuScenes上实现16 Hz的推理速度。

实验结果

研究问题

• RQ1 如何在不增加计算成本的前提下，改进基于BEV的3D目标检测器，以应对远距离LiDAR点云的固有稀疏性？
• RQ2 能否仅通过轻量化组件设计注意力机制，实现对BEV特征中稀疏与密集区域的自适应处理？
• RQ3 辅助密度等级估计在多大程度上能提升对遮挡或远距离目标的检测性能？
• RQ4 所提出的RAAConv层能否在不牺牲推理速度的前提下，无缝集成到现有基于BEV的检测器中？
• RQ5 范围感知注意力与密度等级引导的结合，是否能在不同尺寸和距离的目标上带来一致的性能提升？

主要发现

• RAANet在nuScenes数据集上达到最先进性能，优于现有SOTA方法，在3D mAP和mAPH指标上表现更优。
• 采用双分支结构与注意力图的RAAConv层，相比基线模型，将小目标检测的mAP提升0.9%。
• 辅助密度等级估计模块在λ_aux = 0.2时带来可测量的性能增益，尤其在检测遮挡目标方面表现显著。
• 完整版RAANet模型在nuScenes上实现16 Hz的推理速度，轻量化版本达到22 Hz，充分证明其具备实时推理能力。
• 定性结果表明，与基线相比，RAANet在稀疏与遮挡区域中显著增加真正例，同时有效抑制假正例。
• 消融实验证实，RAAConv的每个组件——双分支结构、注意力图与可学习gamma——均对性能提升有独立贡献。