[论文解读] Self-Prediction for Joint Instance and Semantic Segmentation of Point Clouds

Jinxian Liu, Minghui Yu+2 more|arXiv (Cornell University)|Jul 27, 2020

3D Shape Modeling and Analysis参考文献 46被引用 6

一句话总结

本文提出 Self-Prediction，一种新颖的自监督学习方案，通过联合训练主干网络，利用标签传播从一个点子集的标签预测另一个点子集的标签，从而提升3D点云实例和语义分割性能。通过整合实例和语义嵌入并强制执行双向自预测，该方法在仅使用 PointNet++ 作为主干网络的情况下，在 S3DIS 数据集上实现了最先进的实例分割性能，显著优于基线模型。

ABSTRACT

We develop a novel learning scheme named Self-Prediction for 3D instance and semantic segmentation of point clouds. Distinct from most existing methods that focus on designing convolutional operators, our method designs a new learning scheme to enhance point relation exploring for better segmentation. More specifically, we divide a point cloud sample into two subsets and construct a complete graph based on their representations. Then we use label propagation algorithm to predict labels of one subset when given labels of the other subset. By training with this Self-Prediction task, the backbone network is constrained to fully explore relational context/geometric/shape information and learn more discriminative features for segmentation. Moreover, a general associated framework equipped with our Self-Prediction scheme is designed for enhancing instance and semantic segmentation simultaneously, where instance and semantic representations are combined to perform Self-Prediction. Through this way, instance and semantic segmentation are collaborated and mutually reinforced. Significant performance improvements on instance and semantic segmentation compared with baseline are achieved on S3DIS and ShapeNet. Our method achieves state-of-the-art instance segmentation results on S3DIS and comparable semantic segmentation results compared with state-of-the-arts on S3DIS and ShapeNet when we only take PointNet++ as the backbone network.

研究动机与目标

• 解决现有3D分割方法在探索点之间关系方面缺乏有效监督的问题。
• 通过引入一种强制建模关系上下文的自监督学习方案，提升点云网络中的特征学习能力。
• 通过统一框架联合提升实例和语义分割，利用相互监督机制。
• 设计一种通用、无参数的训练方案，可应用于多种主干网络，且不增加推理成本。

提出的方法

• 该方法将点云划分为两个互不相交的子集，并利用结合实例和语义嵌入构建的完全图，在两者之间执行标签传播。
• Self-Prediction 通过使用一个子集的标签来预测另一个子集的多标签（实例和语义）进行训练，并在训练过程中强制执行双向传播。
• 实例和语义嵌入被拼接后用作图中的节点特征，使网络能够通过关系约束学习判别性表征。
• 该框架采用端到端训练，包含三个分支：实例、语义和 Self-Prediction，其中后者作为正则化器以提升特征质量。
• 推理阶段，Self-Prediction 分支被移除，确保无额外计算或参数开销。
• 该方法具有通用性，可兼容多种主干网络，包括 PointNet、PointNet++ 和 DGCNN。

实验结果

研究问题

• RQ1 一种利用点子集间标签传播的自监督学习方案，能否提升3D点云分割性能？
• RQ2 实例与语义分割之间的联合监督在多大程度上能增强特征学习与分割性能？
• RQ3 双向自预测在关系特征学习中相比单向或随机分组，优势有多大？
• RQ4 该方法对关键超参数（如传播比例、组数和损失权重）的敏感度如何？

主要发现

• 所提出的 Self-Prediction 方法在仅使用 PointNet++ 作为主干网络的情况下，在 S3DIS 数据集上实现了最先进的实例分割性能，平均实例 mAP 达到 51.1%，mRec 为 43.6%。
• 在 ShapeNet 数据集上，该方法使用 DGCNN 作为主干网络，在部分实例分割任务中达到 86.2% 的 mIoU，优于基线模型和 ASIS。
• 消融实验表明，双向自预测优于单向或随机分组，mIoU 从 51.0% 提升至 52.4%。
• 该方法对超参数变化具有鲁棒性：在 β（0.4–1.4）、G（组数）和 α（传播比例 > 0.5）的广泛范围内，性能保持稳定。
• 该框架能同时提升实例和语义分割性能，在 S3DIS 和 ShapeNet 上均显著优于基线模型。
• Self-Prediction 分支在推理阶段被移除，不引入任何推理成本，使该方法在实际应用中具有可行性。