[论文解读] Back-tracing Representative Points for Voting-based 3D Object Detection in Point Clouds

Bowen Cheng, Lu Sheng+3 more|arXiv (Cornell University)|Apr 13, 2021

3D Shape Modeling and Analysis参考文献 44被引用 5

一句话总结

该论文提出BRNet，一种新颖的基于投票的3D目标检测方法，通过从投票中心生成代表性点并回溯至周围种子点，以增强特征表示。通过实现投票中心与局部表面特征之间的相互一致性，BRNet在ScanNet V2上实现+7.5%的mAP@0.50，在SUN RGB-D上实现+4.7%的mAP@0.50，达到当前最优性能，同时保持轻量化与高效性。

ABSTRACT

3D object detection in point clouds is a challenging vision task that benefits various applications for understanding the 3D visual world. Lots of recent research focuses on how to exploit end-to-end trainable Hough voting for generating object proposals. However, the current voting strategy can only receive partial votes from the surfaces of potential objects together with severe outlier votes from the cluttered backgrounds, which hampers full utilization of the information from the input point clouds. Inspired by the back-tracing strategy in the conventional Hough voting methods, in this work, we introduce a new 3D object detection method, named as Back-tracing Representative Points Network (BRNet), which generatively back-traces the representative points from the vote centers and also revisits complementary seed points around these generated points, so as to better capture the fine local structural features surrounding the potential objects from the raw point clouds. Therefore, this bottom-up and then top-down strategy in our BRNet enforces mutual consistency between the predicted vote centers and the raw surface points and thus achieves more reliable and flexible object localization and class prediction results. Our BRNet is simple but effective, which significantly outperforms the state-of-the-art methods on two large-scale point cloud datasets, ScanNet V2 (+7.5% in terms of mAP@0.50) and SUN RGB-D (+4.7% in terms of mAP@0.50), while it is still lightweight and efficient. Code will be available at https://github.com/cheng052/BRNet.

研究动机与目标

• 为解决当前基于投票的3D检测器在种子点特征上受部分或异常值影响的局限性。
• 通过从投票中心生成代表性点，以更好地推断目标范围，从而提升目标提议质量。
• 通过重新访问回溯代表性点附近的种子点，增强局部结构特征学习。
• 通过自下而上与自上而下的特征交互策略，实现更鲁棒、更准确的3D检测。
• 在显著超越现有方法的同时，保持模型效率，适用于大规模基准测试。

提出的方法

• 一种代表性点生成模块，对投票聚类中心预测的3D区域进行类别无关的均匀采样。
• 一种回溯操作，从投票聚类中心生成虚拟代表性点，以估计目标范围。
• 一种重新访问机制，收集每个代表性点固定半径范围内的种子点，以捕捉细粒度表面细节。
• 一种优化模块，将重新访问的种子点特征与投票特征融合，以提升提议质量。
• 一种端到端可训练框架，将回溯、重新访问与优化整合进基于投票的检测流程。
• 采用基于射线和基于网格的两种代表性点采样策略，消融实验表明性能相当。

实验结果

研究问题

• RQ1 从投票中心生成代表性点的生成式回溯是否能通过更准确估计目标范围，从而提升3D目标检测性能？
• RQ2 重新访问回溯代表性点附近的种子点是否能增强局部结构特征表示？
• RQ3 投票特征与优化后种子特征之间的相互一致性是否能带来更准确的边界框与类别预测？
• RQ4 所提出的回溯与重新访问策略在性能与效率方面相较于现有基于投票的方法表现如何？
• RQ5 在检测精度与计算成本之间权衡下，代表性点的最优采样策略是什么？

主要发现

• 与先前最先进方法相比，BRNet在ScanNet V2上的mAP@0.50实现了7.5%的绝对提升。
• 在SUN RGB-D上，BRNet相比现有方法将mAP@0.50提升了4.7%，展现出强大的泛化能力。
• 完整流程（包含回溯、重新访问与优化）相比基线投票方法，在ScanNet上实现约10%的mAP提升，在SUN RGB-D上实现约6%的mAP提升。
• BRNet的推理速度是H3DNet的3倍，模型参数量仅为H3DNet的1/4，同时显著超越其性能。
• 使用四种主干网络，BRNet在ScanNet上达到51.8%的mAP@0.50，相比H3DNet高出3.7%，且模型尺寸小得多。
• 消融实验确认，回溯与重新访问操作至关重要，二者结合时性能提升显著。