[论文解读] JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds

Lin Zhao, Wenbing Tao|arXiv (Cornell University)|Dec 20, 2019

3D Shape Modeling and Analysis参考文献 34被引用 12

一句话总结

JSNet 提出了一种用于点云联合 3D 实例分割与语义分割的端到端深度学习框架，通过共享主干网络与特征融合，并引入一种新颖的联合实例与语义分割（JISS）模块，实现两个任务之间的相互增强。该方法在 S3DIS 数据集上取得了最先进性能，实例分割与语义分割的 mPrec 分别达到 62.9% 和 mIoU 达到 55.0%，优于以往方法。

ABSTRACT

In this paper, we propose a novel joint instance and semantic segmentation approach, which is called JSNet, in order to address the instance and semantic segmentation of 3D point clouds simultaneously. Firstly, we build an effective backbone network to extract robust features from the raw point clouds. Secondly, to obtain more discriminative features, a point cloud feature fusion module is proposed to fuse the different layer features of the backbone network. Furthermore, a joint instance semantic segmentation module is developed to transform semantic features into instance embedding space, and then the transformed features are further fused with instance features to facilitate instance segmentation. Meanwhile, this module also aggregates instance features into semantic feature space to promote semantic segmentation. Finally, the instance predictions are generated by applying a simple mean-shift clustering on instance embeddings. As a result, we evaluate the proposed JSNet on a large-scale 3D indoor point cloud dataset S3DIS and a part dataset ShapeNet, and compare it with existing approaches. Experimental results demonstrate our approach outperforms the state-of-the-art method in 3D instance segmentation with a significant improvement in 3D semantic prediction and our method is also beneficial for part segmentation. The source code for this work is available at https://github.com/dlinzhao/JSNet.

研究动机与目标

• 解决现有 3D 实例与语义分割方法中分离处理或后处理方式的局限性。
• 通过实现实例分割与语义分割任务之间的相互增强，提升分割精度。
• 设计一种高效、端到端的框架，减少过拟合与内存消耗，同时保持高性能。
• 在大规模 3D 室内场景与部件分割数据集上验证特征融合与联合学习的有效性。

提出的方法

• 基于 PointNet++ 和 PointConv 的共享主干网络从原始 3D 点云中提取层次化特征。
• 点云特征融合（PCFF）模块将主干网络中多层级特征进行融合，生成更具判别性的表征。
• 联合实例与语义分割（JISS）模块将语义特征转换至实例嵌入空间，并与实例特征融合，以提升实例分割性能。
• JISS 模块还隐式地将实例特征聚合至语义空间，以增强语义分割，实现双向知识迁移。
• 通过在学习到的实例嵌入上进行均值漂移聚类执行实例分割，避免了复杂的后处理步骤。
• 整个网络通过随机采样与早停策略进行训练，以减少过拟合并提升泛化能力。

实验结果

研究问题

• RQ1 与分离或顺序处理方法相比，3D 点云上实例与语义分割的联合学习是否能提升性能？
• RQ2 在不同网络层级间进行特征融合，对 3D 点云分割任务的精度有何影响？
• RQ3 实例分割与语义分割之间的相互增强是否能带来两个任务预测性能的提升？
• RQ4 哪些训练策略（如随机采样、早停）最能有效防止联合 3D 分割网络的过拟合？
• RQ5 所提出的框架在多样化 3D 数据集（包括室内场景与部件级分割）上的泛化能力如何？

主要发现

• JSNet 在 S3DIS 数据集上实现 62.9% 的 mPrec 与 55.0% 的 mIoU，优于当前最先进的 3D 实例分割方法。
• 消融实验表明，PCFF 模块显著提升了特征判别性，加入后 mIoU 从 52.7% 提升至 54.5%。
• 同时包含实例到语义与语义到实例反馈的联合 JISS 模块，性能优于仅使用单一组件的情况。
• 训练过程中采用随机采样可减少过拟合并提升泛化能力，mPrec 从 58.7% 提升至 62.9%（相比固定采样）。
• 模型在 ShapeNet 上的部件分割任务中也表现出色，表明其在室内场景分割之外具备良好泛化能力。
• 早停策略进一步提升泛化性能，最佳结果（62.9% mPrec，55.0% mIoU）在结合随机采样与早停策略时达成。