[论文解读] Divide and Conquer: 3D Point Cloud Instance Segmentation With Point-Wise Binarization

Weiguang Zhao, Yuyao Yan+4 more|arXiv (Cornell University)|Jul 22, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

该论文提出PBNet，一种新颖的3D点云实例分割框架，通过逐点二值化将相邻物体按类别分离，将点分类为高密度点（HPs）和低密度点（LPs）。通过先对HPs聚类以解决重叠实例问题，再利用邻域投票为LPs分配点，PBNet在ScanNetV2基准上实现卓越性能，mAP达到54.3，排名第一。

ABSTRACT

Instance segmentation on point clouds is crucially important for 3D scene understanding. Most SOTAs adopt distance clustering, which is typically effective but does not perform well in segmenting adjacent objects with the same semantic label (especially when they share neighboring points). Due to the uneven distribution of offset points, these existing methods can hardly cluster all instance points. To this end, we design a novel divide-and-conquer strategy named PBNet that binarizes each point and clusters them separately to segment instances. Our binary clustering divides offset instance points into two categories: high and low density points (HPs vs. LPs). Adjacent objects can be clearly separated by removing LPs, and then be completed and refined by assigning LPs via a neighbor voting method. To suppress potential over-segmentation, we propose to construct local scenes with the weight mask for each instance. As a plug-in, the proposed binary clustering can replace traditional distance clustering and lead to consistent performance gains on many mainstream baselines. A series of experiments on ScanNetV2 and S3DIS datasets indicate the superiority of our model. In particular, PBNet ranks first on the ScanNetV2 official benchmark challenge, achieving the highest mAP. Code will be available publicly at https://github.com/weiguangzhao/PBNet.

研究动机与目标

• 解决传统距离聚类方法在共享邻近点的相同语义标签相邻3D物体分割中的局限性。
• 克服现有方法中因偏移点分布不均导致的实例聚类不完整问题。
• 开发一种即插即用的二值聚类策略，在不改变网络架构的前提下提升多个主流基线模型的性能。
• 通过局部场景机制与权重掩码抑制沙发、桌子等大物体的过分割现象。
• 在基准数据集上实现最先进性能，且对超参数敏感度极低。

提出的方法

• 基于局部点密度，将偏移分支中的每个点二值化为高密度点（HP）或低密度点（LP），以分离相邻实例。
• 首先使用基于距离的分组策略对HPs进行聚类，以解决相同语义标签的重叠实例问题。
• 通过利用邻近HPs的特征，采用邻域投票机制为LPs分配点，实现对不完整实例的重建与优化。
• 通过搜索周围实例，在每个预测实例周围构建局部场景，以增强上下文感知能力。
• 利用全局特征与局部场景编码生成实例特定的权重掩码，引导网络聚焦于主要物体。
• 结合全局特征与优化后的局部特征，预测最终实例掩码，并使用掩码损失优化分割质量。

实验结果

研究问题

• RQ1 将点逐点二值化为高密度与低密度点，能否有效提升相同语义标签相邻3D实例的分离效果？
• RQ2 对低密度点实施邻域投票，能否有效完成并优化因稀疏或分布不均的偏移点导致的不完整实例聚类？
• RQ3 带有权重掩码的局部场景机制能否有效抑制沙发、桌子等大物体的过分割现象？
• RQ4 所提出的二值聚类策略在多大程度上可作为即插即用模块，提升现有SOTA基线模型的性能？
• RQ5 该方法对超参数的敏感度如何？是否能在极少调参下保持鲁棒性？

主要发现

• PBNet在ScanNetV2官方基准上取得最高的mAP 54.3，位列所有评估方法之首。
• 消融实验表明，所提出的掩码损失相比基线使mAP提升7.7%，AP50提升3.2%。
• LPs的邻域投票机制相比无投票基线，使mAP提升2.6个百分点。
• 带有权重掩码的局部场景机制相比无优化基线，使mAP提升4.3个百分点。
• 该方法仅引入三个超参数（rd, dθ, K），其取值在实验中表现稳定，敏感度低于先前SOTA方法。
• 尽管相比HAIS延迟增加150–250ms，PBNet实现了显著的mAP提升，使该性能-延迟权衡在对精度要求高的应用中更具优势。