[论文解读] MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation

Chen Liu, Yasutaka Furukawa|arXiv (Cornell University)|Feb 12, 2019

3D Shape Modeling and Analysis参考文献 19被引用 81

一句话总结

介绍 MASC，一种基于稀疏卷积的网络，能够预测语义分数和多尺度点亲和性，以在没有候选提案的情况下将3D点聚类为实例，在 ScanNet 上实现了最先进的结果。

ABSTRACT

We propose a new approach for 3D instance segmentation based on sparse convolution and point affinity prediction, which indicates the likelihood of two points belonging to the same instance. The proposed network, built upon submanifold sparse convolution [3], processes a voxelized point cloud and predicts semantic scores for each occupied voxel as well as the affinity between neighboring voxels at different scales. A simple yet effective clustering algorithm segments points into instances based on the predicted affinity and the mesh topology. The semantic for each instance is determined by the semantic prediction. Experiments show that our method outperforms the state-of-the-art instance segmentation methods by a large margin on the widely used ScanNet benchmark [2]. We share our code publicly at https://github.com/art-programmer/MASC.

研究动机与目标

• 在大尺度室内场景中推动鲁棒的3D实例分割。
• 利用稀疏卷积高效处理整场景体素化点云。
• 预测语义分数和多尺度体素亲和力以实现聚类成实例。
• 开发一个简单的聚类过程，利用学习得到的亲和力和网格拓扑。

提出的方法

• 使用带子流形稀疏卷积的 U-Net 处理整场景的体素网格。
• 预测每个体素的语义分数，并在相邻体素之间的不同尺度上预测多条亲和分支。
• 定义一个聚类算法，根据平均的多尺度亲和力和网格拓扑合并节点。
• 为每个实例分配其点的多数投票所决定的语义标签。
• 通过随机增密数据来提高稀疏区域的局部亲和力预测。

实验结果

研究问题

• RQ1 通过稀疏卷积进行多尺度亲和力预测是否能够实现有效的、无候选提案的3D实例分割？
• RQ2 所提出的聚类算法如何利用预测的亲和力与网格拓扑来形成连贯的实例？
• RQ3 使用两种亲和尺度对 ScanNet 性能的影响是？
• RQ4 在 ScanNet 基准上，MASC 与最先进方法相比如何？

主要发现

• 在 ScanNet 基准的3D实例分割上超越了最先进方法（IoU 0.5 时的 AP）。
• 所提出的 Ours 方法在表1中大多数类别的分数高于 3D-SIS、GSPN 和 SGPN。
• 基于聚类的多尺度亲和力方法在没有基于提案的检测的情况下实现了强大的实例分割。
• 实例的语义标签由其组成点的多数投票确定。
• 该方法包括数据增密和对共平面或平面物体的处理，以改进分割。