[论文解读] From Voxel to Point: IoU-guided 3D Object Detection for Point Cloud with Voxel-to-Point Decoder

Jiale Li, Hang Dai+2 more|arXiv (Cornell University)|Aug 8, 2021

Advanced Neural Network Applications参考文献 51被引用 6

一句话总结

本文提出了一种IoU引导的两阶段3D目标检测器，通过引入残差体素到点解码器，从原始点云中提取细粒度点特征，从而提升定位精度。通过将预测的IoU与优化后的边界框对齐，并融合RoI对齐特征与角点几何嵌入，该方法在KITTI和Waymo开放数据集上实现了最先进性能，mAP显著提升。

ABSTRACT

In this paper, we present an Intersection-over-Union (IoU) guided two-stage 3D object detector with a voxel-to-point decoder. To preserve the necessary information from all raw points and maintain the high box recall in voxel based Region Proposal Network (RPN), we propose a residual voxel-to-point decoder to extract the point features in addition to the map-view features from the voxel based RPN. We use a 3D Region of Interest (RoI) alignment to crop and align the features with the proposal boxes for accurately perceiving the object position. The RoI-Aligned features are finally aggregated with the corner geometry embeddings that can provide the potentially missing corner information in the box refinement stage. We propose a simple and efficient method to align the estimated IoUs to the refined proposal boxes as a more relevant localization confidence. The comprehensive experiments on KITTI and Waymo Open Dataset demonstrate that our method achieves significant improvements with novel architectures against the existing methods. The code is available on Github URL\footnote{\url{https://github.com/jialeli1/From-Voxel-to-Point}}.

研究动机与目标

• 为解决体素化编码器下采样过程中导致的详细姿态信息丢失问题。
• 通过将交并比（IoU）预测结果与优化后的提议框对齐，而非初始提议框，以提升两阶段3D目标检测中的定位精度。
• 通过融合RoI对齐特征与角点几何嵌入，增强特征表示，以补偿缺失的角点信息。
• 开发一种高效且残差式的体素到点解码器，在保持RPN阶段高框召回率的同时，保留原始点信息。
• 在复杂点云环境中，验证该方法在大规模、远距离检测场景下的优越性能。

提出的方法

• 引入残差体素到点解码器，通过堆叠带有跳跃连接的模块，聚合每个原始点周围K近邻体素的特征。
• 解码器以分层、残差的方式学习点特征，使用分割掩码监督前景与背景的敏感度。
• 应用3D区域感兴趣（RoI）对齐，将鸟瞰图特征与点特征与提议框对齐，以实现精确定位。
• 在RoI对齐特征中加入角点几何嵌入，以重建3D边界框中缺失的角点信息。
• 引入并行的IoU估计分支，从RoI对齐特征回归IoU分数，并采用新颖的对齐方法，将预测的IoU与优化后的边界框关联，以提升NMS排序性能。
• 采用共享体素编码方式，同时用于鸟瞰图与点特征学习，提升计算效率。

实验结果

研究问题

• RQ1 体素到点解码器能否有效恢复体素化过程中丢失的细粒度点特征，从而提升3D检测精度？
• RQ2 将预测的IoU分数与优化后的提议框对齐，而非初始提议框，是否能提升NMS中的定位性能？
• RQ3 角点几何嵌入能否在点云中缺少实际角点的情况下，补偿边界框优化过程中的缺失信息？
• RQ4 该方法在大规模、远距离3D检测基准（如Waymo开放数据集）上的表现如何？
• RQ5 残差学习与分层特征聚合在体素到点解码器中对整体检测性能的贡献是什么？

主要发现

• 在KITTI数据集上，该方法在骑行者类别（易）上达到81.49%的mAP，在行人类别（易）上达到51.80%，优于先前的最先进方法。
• 在Waymo开放数据集上，LEVEL_1下达到77.24%的3D AP和88.93%的BEV AP，较PV-RCNN分别提升+6.94和+1.82。
• 在LEVEL_2下，达到69.77%的3D AP和82.18%的BEV AP，较PV-RCNN分别提升+4.41和+4.73，表明在稀疏、远距离检测中表现强劲。
• 消融实验表明，体素到点解码器与IoU对齐组件均对性能提升有显著贡献，尤其在远距离场景中。
• 该方法在所有难度级别和评估指标上均表现出一致的性能提升，证明了残差学习与特征融合在基于点的3D检测中的有效性。
• 定性结果表明，由于增强了特征表示与IoU引导的优化，模型生成的边界框更紧凑、更精确，尤其在远距离或稀疏物体上表现更优。