[论文解读] Improved Multi-Scale Grid Rendering of Point Clouds for Radar Object Detection Networks

Daniel Köhler, Maurice Quach+4 more|arXiv (Cornell University)|May 25, 2023

Remote Sensing and LiDAR ApplicationsEnvironmental Science被引用 3

一句话总结

本文提出了一种新型雷达目标检测架构——多尺度 KPPillarsBEV，通过 KPBEV（基于核点卷积的方法）改进了网格渲染，增强了点云到网格转换过程中的局部特征编码。该方法在 nuScenes 数据集上，相较于基线模型提升 Car AP4.0 5.37%，相较于 SOTA 模型提升 2.88%，同时保持实时推理速度。

ABSTRACT

Architectures that first convert point clouds to a grid representation and then apply convolutional neural networks achieve good performance for radar-based object detection. However, the transfer from irregular point cloud data to a dense grid structure is often associated with a loss of information, due to the discretization and aggregation of points. In this paper, we propose a novel architecture, multi-scale KPPillarsBEV, that aims to mitigate the negative effects of grid rendering. Specifically, we propose a novel grid rendering method, KPBEV, which leverages the descriptive power of kernel point convolutions to improve the encoding of local point cloud contexts during grid rendering. In addition, we propose a general multi-scale grid rendering formulation to incorporate multi-scale feature maps into convolutional backbones of detection networks with arbitrary grid rendering methods. We perform extensive experiments on the nuScenes dataset and evaluate the methods in terms of detection performance and computational complexity. The proposed multi-scale KPPillarsBEV architecture outperforms the baseline by 5.37% and the previous state of the art by 2.88% in Car AP4.0 (average precision for a matching threshold of 4 meters) on the nuScenes validation set. Moreover, the proposed single-scale KPBEV grid rendering improves the Car AP4.0 by 2.90% over the baseline while maintaining the same inference speed.

研究动机与目标

• 解决基于雷达的物体检测中点云到网格渲染过程中的信息丢失问题。
• 通过在网格渲染过程中引入核点卷积（KPConvs），提升基于网格的检测器的特征表示能力。
• 设计一种通用的多尺度网格渲染公式，以整合来自点云的尺度感知特征。
• 设计一种帕累托最优的检测架构，平衡性能与计算效率。

提出的方法

• 提出 KPBEV，一种网格渲染模块，通过在每个非空网格单元的锚点上应用核点卷积，增强局部特征编码。
• 提出一种通用的多尺度网格渲染公式，利用任意网格渲染方法在多个空间分辨率下处理点云。
• 将 KPBEV 与多尺度渲染整合到统一的检测主干网络 KPPillarsBEV 中，结合基于点的预处理与基于网格的 CNN。
• 在 KPBEV 中使用自适应卷积感受野半径，针对粗粒度网格降低计算负载，同时保留长程上下文信息。
• 通过仅在锚点（每个非空单元一个）上执行 KPConv 操作，而非所有输入点，保持推理速度。
• 通过检测头中的侧向连接实现跨尺度特征融合，支持多尺度特征学习。

实验结果

研究问题

• RQ1 核点卷积能否提升雷达目标检测中网格渲染过程的特征编码？
• RQ2 与单尺度方法相比，多尺度网格渲染是否能提升检测性能？
• RQ3 能否设计一种通用的多尺度网格渲染公式，使其兼容任意网格渲染方法？
• RQ4 在结合 KPBEV 与多尺度渲染时，检测精度与计算成本之间的权衡关系如何？

主要发现

• 单尺度 KPBEV 在不增加推理时间的前提下，相较于 PointPillars 基线模型，将 Car AP4.0 提升了 2.90%。
• 所提出的多尺度 KPPillarsBEV 架构在 nuScenes 上实现了 43.68% 的 Car AP4.0 与 26.42% 的 mAP，相较于基线模型提升 5.37% AP4.0。
• 该方法在 V100 GPU 上保持 60 FPS 推理速度的同时，相较于先前 SOTA（KPPillars）在 AP4.0 上提升了 2.88%。
• 与基于点的预处理相比，KPBEV 在 0.5m 网格分辨率下将 KPConv 操作数量减少了 38%，提升了效率。
• 当与 KPBEV 结合时，多尺度网格渲染带来的性能增益最大，表明存在协同增益效应。
• 帕累托前沿分析表明，该架构在精度与计算成本之间提供了强劲的权衡，适用于多种硬件部署环境。