[论文解读] Voxel R-CNN: Towards High Performance Voxel-based 3D Object Detection

Jiajun Deng, Shaoshuai Shi+4 more|arXiv (Cornell University)|Dec 31, 2020

Advanced Neural Network Applications被引用 11

一句话总结

Voxel R-CNN 提出了一种高性能、高效的3D目标检测框架，采用体素化表示而非点云表示，在KITTI和Waymo Open Dataset上实现了最先进（SOTA）的精度，同时保持了25 FPS的实时推理速度。该方法引入了体素RoI池化层，直接从体素特征体积中提取3D区域特征，结合3D主干网络、2D鸟瞰图（BEV）RPN以及具有局部特征聚合的检测头，提升了效率与精度，且无需依赖精确的点定位。

ABSTRACT

Recent advances on 3D object detection heavily rely on how the 3D data are represented, \emph{i.e.}, voxel-based or point-based representation. Many existing high performance 3D detectors are point-based because this structure can better retain precise point positions. Nevertheless, point-level features lead to high computation overheads due to unordered storage. In contrast, the voxel-based structure is better suited for feature extraction but often yields lower accuracy because the input data are divided into grids. In this paper, we take a slightly different viewpoint -- we find that precise positioning of raw points is not essential for high performance 3D object detection and that the coarse voxel granularity can also offer sufficient detection accuracy. Bearing this view in mind, we devise a simple but effective voxel-based framework, named Voxel R-CNN. By taking full advantage of voxel features in a two stage approach, our method achieves comparable detection accuracy with state-of-the-art point-based models, but at a fraction of the computation cost. Voxel R-CNN consists of a 3D backbone network, a 2D bird-eye-view (BEV) Region Proposal Network and a detect head. A voxel RoI pooling is devised to extract RoI features directly from voxel features for further refinement. Extensive experiments are conducted on the widely used KITTI Dataset and the more recent Waymo Open Dataset. Our results show that compared to existing voxel-based methods, Voxel R-CNN delivers a higher detection accuracy while maintaining a real-time frame processing rate, \emph{i.e}., at a speed of 25 FPS on an NVIDIA RTX 2080 Ti GPU. The code is available at \url{https://github.com/djiajunustc/Voxel-R-CNN}.

研究动机与目标

• 挑战当前普遍认为精确点定位对高精度3D目标检测至关重要的观点。
• 开发一种体素化检测器，其精度可与最先进点云模型相当，同时显著降低计算成本。
• 通过直接从体素体积中提取3D特征，保留3D空间上下文信息，以改进体素化检测性能。
• 构建一个简单但高效的3D目标检测基线模型，平衡精度与推理速度。

提出的方法

• 该方法使用3D主干网络从体素化点云中提取分层特征。
• 采用2D鸟瞰图（BEV）区域提议网络（RPN）从2D特征图中生成密集的区域提议。
• 提出一种新型的体素RoI池化层，直接从3D体素特征体积中提取3D感兴趣区域（RoI）特征，保留空间上下文信息。
• 引入局部特征聚合模块，通过利用邻域感知的特征提取，加速体素RoI池化过程。
• 检测头利用体素RoI池化提取的特征对边界框进行精细化处理，实现端到端的两阶段检测。
• 该框架设计高效且可扩展，在消费级GPU上实现了实时推理。

实验结果

研究问题

• RQ1 是否能够实现一种体素化3D目标检测器，在不依赖精确点定位的前提下，达到与最先进点云模型相当的精度？
• RQ2 在流水线早期阶段，若保留体素特征体积中的3D空间上下文信息，相比提前转换为2D BEV表示，是否能提升检测性能？
• RQ3 体素RoI池化是否能有效从3D体素特征中提取具有判别力的特征，以实现高精度检测？
• RQ4 是否可能在标准硬件上，实现高精度体素化检测器的实时推理速度（如25 FPS）？
• RQ5 在不同基准测试中，该方法相较于现有体素化与点云检测器，在精度与效率方面表现如何？

主要发现

• Voxel R-CNN 在KITTI验证集上实现了84.52%的中等3D平均精度（AP），超越了大多数现有体素化方法。
• 该模型在NVIDIA RTX 2080 Ti GPU上运行速度达到25.2 FPS，证明了其具备实时推理能力。
• 消融实验表明，结合检测头、体素查询以及加速版PointNet模块可获得最佳性能（84.52% AP）。
• 该方法在推理速度上优于点云模型（如PV-RCNN），同时保持了相近的精度水平。
• 结果验证了精确点定位并非高性能3D检测的必要条件，粗粒度体素化已能提供足够的空间上下文信息。
• 该框架可作为未来3D检测研究及下游应用的强有力、高效的基线。