[论文解读] PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation

Li Jiang, Hengshuang Zhao+4 more|arXiv (Cornell University)|Apr 3, 2020

3D Shape Modeling and Analysis参考文献 57被引用 32

一句话总结

PointGroup 引入了一种自下而上的 3D 实例分割框架，使用语义标签和每个点的偏移量来将点分组，具有原始坐标集与偏移-平移坐标集的双坐标集，并使用 ScoreNet 选择高质量聚类，在 ScanNet v2 和 S3DIS 上达到最前沿的结果。

ABSTRACT

Instance segmentation is an important task for scene understanding. Compared to the fully-developed 2D, 3D instance segmentation for point clouds have much room to improve. In this paper, we present PointGroup, a new end-to-end bottom-up architecture, specifically focused on better grouping the points by exploring the void space between objects. We design a two-branch network to extract point features and predict semantic labels and offsets, for shifting each point towards its respective instance centroid. A clustering component is followed to utilize both the original and offset-shifted point coordinate sets, taking advantage of their complementary strength. Further, we formulate the ScoreNet to evaluate the candidate instances, followed by the Non-Maximum Suppression (NMS) to remove duplicates. We conduct extensive experiments on two challenging datasets, ScanNet v2 and S3DIS, on which our method achieves the highest performance, 63.6% and 64.0%, compared to 54.9% and 54.4% achieved by former best solutions in terms of mAP with IoU threshold 0.5.

研究动机与目标

• 通过利用点云中物体之间的空隙空间来推动准确的 3D 实例分割。
• 开发一个从下向上的体系结构，联合预测每个点的语义标签和质心导向的偏移量。
• 提出双集合聚类（原始点和偏移后的点）以改善实例分离，特别是对紧邻的物体。
• 引入 ScoreNet 在 NMS 之前对高质量聚类进行评估和选择。
• 在 ScanNet v2 和 S3DIS 数据集上证明达到最先进的性能。

提出的方法

• 一个两分支骨干网络生成每个点的语义标签和质心偏移。
• 通过预测的偏移将点向其实例质心平移，形成一个偏移坐标集合。
• 在原始坐标集 P 和偏移坐标集 Q 上进行聚类，形成 C^p 和 C^q，然后合并为 C = C^p ∪ C^q。
• ScoreNet 对聚类特征进行编码，并输出每个聚类 proposal 的分数。
• ScoreNet 的分数通过基于软 IoU 的目标进行训练，以反映聚类质量，指导最终预测的 NMS。
• 端到端训练，优化 L = L_sem + L_o_dir + L_o_reg + L_c_score。

实验结果

研究问题

• RQ1 如何通过利用物体之间的空隙空间来改进三维点云实例分割？
• RQ2 双坐标聚类方法（原始点和偏移后点）是否在分离相邻实例方面优于单一坐标聚类？
• RQ3 学习的聚类评分模块（ScoreNet）是否提高了对于 NMS 的高质量实例提案的选择？
• RQ4 将原始坐标和偏移坐标聚类结合起来对标准三维实例分割基准的影响如何？

主要发现

• PointGroup 在 ScanNet v2 测试集上实现了 63.6% mAP50，较前一最佳提升 8.7 个百分点。
• 在 S3DIS 上，PointGroup 达到 64.0% mAP50、69.6% mPrec50 和 69.2% mRec50，明显超过之前的方法。
• 消融研究表明双集合聚类（P 和 Q）在 P-only 或 Q-only 变体中表现最佳。
• 聚类半径 r 和 ScoreNet 对性能有显著贡献；同时使用两个坐标集合并结合 ScoreNet 能获得最佳结果。
• PointGroup 在 ScanNet v2 的多数类别中排名第一，在 S3DIS 的多项指标上达到最先进的结果。