[论文解读] HVPR: Hybrid Voxel-Point Representation for Single-stage 3D Object Detection

Jongyoun Noh, Sanghoon Lee+1 more|arXiv (Cornell University)|Apr 2, 2021

Advanced Neural Network Applications参考文献 4被引用 4

一句话总结

HVPR 提出了一种单阶段 3D 目标检测框架，通过记忆增强卷积神经网络融合基于体素和基于点的特征，实现了高精度与高效率。通过使用记忆模块存储和检索基于点的特征，它在保留精细 3D 结构的同时实现了快速推理，在 KITTI 的中等难度汽车检测任务上达到 81.32% 的 mAP，推理速度为 36.1 fps。

ABSTRACT

We address the problem of 3D object detection, that is, estimating 3D object bounding boxes from point clouds. 3D object detection methods exploit either voxel-based or point-based features to represent 3D objects in a scene. Voxel-based features are efficient to extract, while they fail to preserve fine-grained 3D structures of objects. Point-based features, on the other hand, represent the 3D structures more accurately, but extracting these features is computationally expensive. We introduce in this paper a novel single-stage 3D detection method having the merit of both voxel-based and point-based features. To this end, we propose a new convolutional neural network (CNN) architecture, dubbed HVPR, that integrates both features into a single 3D representation effectively and efficiently. Specifically, we augment the point-based features with a memory module to reduce the computational cost. We then aggregate the features in the memory, semantically similar to each voxel-based one, to obtain a hybrid 3D representation in a form of a pseudo image, allowing to localize 3D objects in a single stage efficiently. We also propose an Attentive Multi-scale Feature Module (AMFM) that extracts scale-aware features considering the sparse and irregular patterns of point clouds. Experimental results on the KITTI dataset demonstrate the effectiveness and efficiency of our approach, achieving a better compromise in terms of speed and accuracy.

研究动机与目标

• 解决基于点云的 3D 目标检测中精度与效率之间的权衡问题。
• 克服基于体素方法（损失精细结构）和基于点方法（计算成本高）的局限性。
• 将基于体素和基于点的特征优势整合到统一且高效的表示中，用于单阶段检测。
• 设计一个记忆模块，在不牺牲性能的前提下降低基于点特征的推理成本。
• 通过 3D 尺度感知表示增强对稀疏且不规则点云的多尺度特征学习能力。

提出的方法

• 提出双流编码器，分别提取基于体素和基于点的特征。
• 引入一个记忆模块，在推理过程中存储并检索基于点的特征，从而消除对实时编码器计算的需求。
• 根据语义相似性将存储在记忆中的点特征聚合到体素位置，形成一种混合伪图像表示。
• 设计一种注意式多尺度特征模块（AMFM），利用 3D 尺度特征通过空间注意力机制优化多尺度特征。
• 将混合伪图像作为输入，输入到单阶段检测器中，实现端到端的 3D 边界框预测。
• 使用标准检测头进行端到端训练，优化 mAP 和推理速度。

实验结果

研究问题

• RQ1 结合体素和点特征的混合 3D 表示是否能在保持推理效率的同时提升检测精度？
• RQ2 记忆模块在不降低性能的前提下，是否能有效降低基于点特征提取的计算成本？
• RQ3 尺度感知特征在稀疏且不规则点云上的检测性能提升程度如何？
• RQ4 体素与点特征的融合是否能改善小目标或遮挡目标的定位性能？
• RQ5 所提方法是否能在速度-精度权衡上优于现有的单阶段 3D 检测器？

主要发现

• 所提出的 HVPR 在 KITTI 中等难度汽车检测划分上达到 81.32% 的 mAP，相较于基线 PointPillars 在困难样本上提升了 1.94% 的 mAP。
• 记忆模块将推理时间从 6.8Hz（完整点编码器）降低至 37.9Hz，几乎与基线 PointPillars 的 39.5Hz 相当，同时保持了高精度。
• 在 AMFM 中使用 3D 尺度特征使困难划分的 mAP 提升了 1.63%，证明其在复杂尺度变化下的有效性。
• 模型实现了 36.1 fps 的推理速度，相较于最先进方法展现出更优的速度-精度权衡。
• 消融实验证实，记忆模块与结合 3D 尺度特征的 AMFM 均至关重要，后者在困难划分上贡献了 1.27% 的 mAP 提升。
• mAP 性能对记忆项数量（T）具有鲁棒性，最优性能出现在 K=20 个最近邻项时，表明特征聚合有效。