[论文解读] Instance Segmentation in 3D Scenes using Semantic Superpoint Tree Networks

Zhihao Liang, Zhihao Li+3 more|arXiv (Cornell University)|Aug 17, 2021

3D Shape Modeling and Analysis参考文献 38被引用 10

一句话总结

本文提出语义超点树网络（SSTNet），一种端到端的3D实例分割方法，通过学习到的超点特征构建语义超点树（SST），并利用二元节点分裂遍历该树以生成实例提案。该方法实现了最先进性能，在ScanNet（V2）排行榜上排名第一，mAP比第二名方法高出2%。

ABSTRACT

Instance segmentation in 3D scenes is fundamental in many applications of scene understanding. It is yet challenging due to the compound factors of data irregularity and uncertainty in the numbers of instances. State-of-the-art methods largely rely on a general pipeline that first learns point-wise features discriminative at semantic and instance levels, followed by a separate step of point grouping for proposing object instances. While promising, they have the shortcomings that (1) the second step is not supervised by the main objective of instance segmentation, and (2) their point-wise feature learning and grouping are less effective to deal with data irregularities, possibly resulting in fragmented segmentations. To address these issues, we propose in this work an end-to-end solution of Semantic Superpoint Tree Network (SSTNet) for proposing object instances from scene points. Key in SSTNet is an intermediate, semantic superpoint tree (SST), which is constructed based on the learned semantic features of superpoints, and which will be traversed and split at intermediate tree nodes for proposals of object instances. We also design in SSTNet a refinement module, termed CliqueNet, to prune superpoints that may be wrongly grouped into instance proposals. Experiments on the benchmarks of ScanNet and S3DIS show the efficacy of our proposed method. At the time of submission, SSTNet ranks top on the ScanNet (V2) leaderboard, with 2% higher of mAP than the second best method. The source code in PyTorch is available at https://github.com/Gorilla-Lab-SCUT/SSTNet.

研究动机与目标

• 解决现有3D实例分割方法在点聚类与端到端训练之间解耦、难以应对数据不规则性与碎片化分割的问题。
• 利用超点中的几何规律性，提升实例提案的一致性，特别是在物体边界处。
• 设计一个端到端框架，通过将提案生成与优化整合到单一学习结构中，直接优化实例分割性能。
• 通过专用的CliqueNet优化模块提升对错误超点分组的鲁棒性，该模块可修剪提案分支中误分类的节点。

提出的方法

• 该方法首先从输入点云中计算超点，并通过点级池化将点级语义与实例级特征聚合为超点级表示。
• 利用聚合后的特征构建语义超点树（SST），其中超点作为叶节点，内部节点的层级分裂由每个节点处的可学习二元分类器引导。
• 树遍历从根节点开始，当某节点决策避免分裂时，即形成一个由超点组成的连贯簇，作为对象实例提案。
• CliqueNet优化模块将每个提案的树分支转换为图团（clique），并应用可学习的剪枝机制，以移除可能被错误分组的超点。
• 最终的ScoreNet对优化后的提案进行评估，输出带有每个实例置信度分数的最终实例分割结果。
• 整个流程端到端训练，树的构建与分裂步骤直接由实例分割目标监督。

实验结果

研究问题

• RQ1 基于语义超点特征构建的分层树结构，是否能相比点级聚类提升3D点云中的实例提案质量？
• RQ2 将提案生成整合到端到端训练过程中，是否能相比独立聚类阶段提升mAP并减少碎片化？
• RQ3 像CliqueNet这样的优化模块，是否能通过剪枝误分类的超点，有效减少实例提案中的假阳性？
• RQ4 在ScanNet与S3DIS等标准基准上，所提出的SSTNet与最先进方法相比，在mAP与实例一致性方面表现如何？

主要发现

• 在ScanNet（V2）验证集上，SSTNet取得49.4的mAP，优于所有先前方法，在提交时位居官方排行榜首位。
• 在S3DIS基准上，SSTNet在6折交叉验证下取得54.1的mAP，显著优于此前最先进方法如PointGroup与OccuSeg。
• 消融实验表明，CliqueNet优化模块使mAP提升0.6分（从49.4提升至50.0），证明其在高精度场景下的有效性。
• 基于树的提案机制（SSTNet）相比基于阈值的分裂（SST-Thresholding）与基于图的替代方案（Superpoint Graph），在mAP指标上表现更优。
• 该方法在AP@25与AP@50上均表现强劲，表明其在不同IoU阈值下具有鲁棒性，并在边界预测上保持一致性。