[论文解读] Learning Gaussian Instance Segmentation in Point Clouds

Shih‐Hung Liu, Shangyi Yu+3 more|arXiv (Cornell University)|Jul 20, 2020

3D Shape Modeling and Analysis参考文献 36被引用 36

一句话总结

GICN 学习高斯中心热图来在3D点云中定位实例中心，然后在一个阶段、无锚点管线中预测尺寸、盒子和掩码，在 ScanNet 和 S3DIS 上达到最先进水平。

ABSTRACT

This paper presents a novel method for instance segmentation of 3D point clouds. The proposed method is called Gaussian Instance Center Network (GICN), which can approximate the distributions of instance centers scattered in the whole scene as Gaussian center heatmaps. Based on the predicted heatmaps, a small number of center candidates can be easily selected for the subsequent predictions with efficiency, including i) predicting the instance size of each center to decide a range for extracting features, ii) generating bounding boxes for centers, and iii) producing the final instance masks. GICN is a single-stage, anchor-free, and end-to-end architecture that is easy to train and efficient to perform inference. Benefited from the center-dictated mechanism with adaptive instance size selection, our method achieves state-of-the-art performance in the task of 3D instance segmentation on ScanNet and S3DIS datasets.

研究动机与目标

• 直接在点云上推动3D实例分割，而无需预定义的锚框或框提案。
• 引入一个以中心为核心、具备尺寸感知的框架，用于预测实例中心、尺寸、盒子和掩码。
• 利用高斯中心热图实现直观可视化和高效的中心选择。
• 实现端到端训练，以提升训练稳定性和推理效率。

提出的方法

• 预测覆盖整场景的高斯中心热图，指示实例中心。
• 使用中心选择机制选择一小组中心候选，避免冗余中心。
• 为中心预测实例尺寸，以确定用于特征提取的自适应邻域。
• 利用尺寸感知的上下文和共享骨干网络为每个中心预测3D边界框。
• 使用联合掩码网络预测与预测边界框对齐的实例掩码。
• 使用多项损失进行训练，包括中心损失、尺寸损失、IoU（GIoU）损失和掩码损失。

实验结果

研究问题

• RQ1 高斯中心热图是否能在3D点云中有效表示实例中心？
• RQ2 以中心为导向、具备尺寸感知的流水线是否比基于锚框或提案的方法提升3D实例分割？
• RQ3 中心选择如何与边界框和掩码预测交互以产生准确的实例？
• RQ4 来自尺寸感知的邻域提取和端到端训练带来哪些准确性与效率的提升？

主要发现

Method	mPrec (%)	mRec (%)
ASIS	63.6	47.5
3D-BoNet	65.6	47.6
3D-BEVIS	65.6	n/a
GICN (ours)	68.5	50.8

• GICN 在 S3DIS 上达到 68.5% mPrec 和 50.8% mRec，IoU 0.5，超越 ASIS、3D-BoNet 和 3D-BEVIS。
• 在 ScanNet v2 上，GICN 在提交时达到已发表方法中最高的 mean AP@50%。
• 中心热图与真实中心分布高度接近，并实现有效的中心候选选择。
• 尺寸感知的边界框预测和端到端训练有助于提升3D实例分割性能。
• 消融实验显示去除中心预测、 focal loss 或语义半径先验会显著下降，验证了它们的重要性。