[论文解读] GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud

Li Yi, Wang Zhao+3 more|arXiv (Cornell University)|Dec 8, 2018

3D Shape Modeling and Analysis参考文献 7被引用 36

一句话总结

GSPN 提出了一种用于 3D 实例分割的生成式形状提议网络，采用分析-合成策略，通过从噪声点云观测中重建形状来提升目标度（objectness）。该方法集成于基于区域的 PointNet（R-PointNet）框架中，通过强调几何理解并学习实例感知特征，在多个 3D 实例分割基准上实现了最先进性能。

ABSTRACT

We introduce a novel 3D object proposal approach named Generative Shape Proposal Network (GSPN) for instance segmentation in point cloud data. Instead of treating object proposal as a direct bounding box regression problem, we take an analysis-by-synthesis strategy and generate proposals by reconstructing shapes from noisy observations in a scene. We incorporate GSPN into a novel 3D instance segmentation framework named Region-based PointNet (R-PointNet) which allows flexible proposal refinement and instance segmentation generation. We achieve state-of-the-art performance on several 3D instance segmentation tasks. The success of GSPN largely comes from its emphasis on geometric understandings during object proposal, which greatly reducing proposals with low objectness.

研究动机与目标

• 为解决现有方法因几何理解不足导致 3D 目标提议中目标度低的问题。
• 开发一种能够有效处理不完整、噪声大且多样的点云输入的 3D 实例分割框架。
• 通过生成式重建而非直接回归边界框来建模自然物体分布，从而提升提议质量。
• 设计一种灵活的框架，能够处理完整场景、部分视图以及细粒度部件实例。
• 验证实例感知特征与语义先验在 3D 实例分割中的重要性。

提出的方法

• GSPN 使用条件变分自编码器（CVAE）通过重建种子点周围的多尺度上下文特征来生成 3D 目标提议。
• 网络显式预测目标中心坐标以归一化生成过程，从而在共享潜在空间中实现更优的形状重建。
• 多尺度上下文编码器捕获局部几何与语义线索，提升对噪声和部分观测的鲁棒性。
• 所提出的基于区域的 PointNet（R-PointNet）框架将 GSPN 集成为提议生成模块，随后利用实例敏感特征进行细化与掩码预测。
• 该框架采用混合特征主干网络，结合实例敏感上下文特征 $f_{\hat{c}}$ 与语义特征 $f_{sem}$，并通过语义分割预训练提升性能。
• 评估使用切比雪夫距离（CD）衡量形状质量，使用平均交并比（mIoU）衡量提议质量。

实验结果

研究问题

• RQ1 生成式、分析-合成方法是否可通过强调几何理解来提升 3D 目标提议质量？
• RQ2 与直接的 3D 边界框回归相比，从噪声观测中进行形状重建在目标度与分割精度方面表现如何？
• RQ3 多尺度上下文、中心点预测与 CVAE 设计对提议生成质量有何影响？
• RQ4 实例敏感特征与语义特征在 R-PointNet 中对最终分割性能有何贡献？
• RQ5 所提出的框架能否在多样化的 3D 点云输入（包括完整场景、部分视图与部件级实例）上实现良好泛化？

主要发现

• GSPN 实现了 0.0450 的切比雪夫距离（CD）与 0.581 的 mIoU，优于消融实验中的各项变体：E-D（CD: 0.0532, mIoU: 0.408）、单尺度上下文（CD: 0.0524, mIoU: 0.486）以及无中心预测（CD: 0.0571, mIoU: 0.409）。
• 移除实例敏感上下文特征 $f_{\hat{c}}$ 会使 mAP 降至 0.178，而移除语义特征 $f_{sem}$ 则使 mAP 降至 0.161，表明二者具有互补作用。
• 端到端训练中若不进行语义特征预训练，性能显著下降，mAP 降至 0.180，证实了预训练的有益影响。
• 该框架在 ScanNet、PartNet 与 NYUv2 基准上均达到最先进性能，其中在 ScanNet 上 mAP 达到 0.191，AP@0.5 达到 0.376。
• 可视化结果表明，GSPN 生成的提议质量高且具有对象紧凑性，能有效避免包含多个物体或部分实例。
• 消融研究证实，CVAE 搭配多尺度上下文与中心点预测对高质量形状生成与提议质量至关重要。