[论文解读] Associatively Segmenting Instances and Semantics in Point Clouds

Xinlong Wang, Shu Liu+3 more|arXiv (Cornell University)|Feb 26, 2019

3D Shape Modeling and Analysis参考文献 35被引用 34

一句话总结

ASIS 引入一个端到端框架，在三维点云上联合执行实例分割和语义分割，使用语义感知的实例嵌入和实例融合的语义特征来相互提升两个任务。

ABSTRACT

A 3D point cloud describes the real scene precisely and intuitively.To date how to segment diversified elements in such an informative 3D scene is rarely discussed. In this paper, we first introduce a simple and flexible framework to segment instances and semantics in point clouds simultaneously. Then, we propose two approaches which make the two tasks take advantage of each other, leading to a win-win situation. Specifically, we make instance segmentation benefit from semantic segmentation through learning semantic-aware point-level instance embedding. Meanwhile, semantic features of the points belonging to the same instance are fused together to make more accurate per-point semantic predictions. Our method largely outperforms the state-of-the-art method in 3D instance segmentation along with a significant improvement in 3D semantic segmentation. Code has been made available at: https://github.com/WXinlong/ASIS.

研究动机与目标

• 激励并解决在三维点云中对实例分割和语义分割缺乏联合处理的问题。
• 提出一个简单的基线，联合学习每个点的语义预测和点级实例嵌入。
• 引入 ASIS，以实现语义感知的实例嵌入和实例融合的语义分割。
• 在 S3DIS 和 ShapeNet 数据集上，跨多种骨干网络（PointNet 和 PointNet++）展示出性能提升。

提出的方法

• 一个简单的共享编码器，带有两个并行解码器，用于每个点的语义预测和每个点的实例嵌入。
• 一个判别性的、与类别无关的实例损失（var、dist、reg），将同一实例的嵌入拉近、将不同实例分开。
• 通过 ASIS 的相互帮助：将语义特征映射到实例特征空间，以产生语义感知的实例特征 (SA)，从而帮助实例分割。
• 实例融合的语义分割 (IF) 在实例嵌入空间中使用 kNN，从同一实例内的相邻点汇聚语义特征，细化每个点的语义。
• 对语义感知的实例分支和实例融合的语义分支进行端到端训练，以提升语义和实例分割性能。

实验结果

研究问题

• RQ1 如何在三维点云中联合学习实例分割和语义分割？
• RQ2 在共享框架中，语义特征是否可以提升实例嵌入，反之亦然？
• RQ3 语义感知嵌入和实例融合是否在 S3DIS 和 ShapeNet 等基准上同时改善点级语义和实例界定？
• RQ4 ASIS 框架是否与不同的骨干网络（如 PointNet、PointNet++）兼容？
• RQ5 语义感知与实例融合对总体性能提升的贡献是什么？

主要发现

• ASIS 在 S3DIS 上持续地优于简单基线，提升了 3D 实例分割和语义分割。
• 语义感知（SA）和实例融合（IF）提供互补提升，组合时提升更大。
• ASIS 在实例分割的平均加权覆盖率（mWCov）和平均精度（mPrec）方面，以及在语义分割的 mIoU 和 mAcc 方面均有显著提升。
• 该框架与 PointNet 和 PointNet++ 骨干兼容，在不同架构上展现出稳健的改进。
• ASIS 在推断中实现比某些先前方法（如 SGPN）更快的基于分组的推理，同时提供具有竞争力甚至更高的精度。
• 在 ShapeNet 上，ASIS 还在部件分割语义方面显示出好处，表明其超越核心 3D 场景理解的通用性。