[论文解读] Superpoint Transformer for 3D Scene Instance Segmentation

Jiahao Sun, Chunmei Qing+2 more|arXiv (Cornell University)|Nov 28, 2022

Advanced Neural Network Applications被引用 7

一句话总结

该论文提出SPFormer，一种新颖的端到端3D实例分割方法，通过将点云特征聚类为超点，并利用基于Transformer的可学习查询解码器，通过超点交叉注意力直接预测实例掩码。该方法在ScanNetv2的隐藏测试集上实现了4.3%更高的mAP，同时保持了每帧247ms的快速推理速度，无需中间聚合或后处理步骤。

ABSTRACT

Most existing methods realize 3D instance segmentation by extending those models used for 3D object detection or 3D semantic segmentation. However, these non-straightforward methods suffer from two drawbacks: 1) Imprecise bounding boxes or unsatisfactory semantic predictions limit the performance of the overall 3D instance segmentation framework. 2) Existing method requires a time-consuming intermediate step of aggregation. To address these issues, this paper proposes a novel end-to-end 3D instance segmentation method based on Superpoint Transformer, named as SPFormer. It groups potential features from point clouds into superpoints, and directly predicts instances through query vectors without relying on the results of object detection or semantic segmentation. The key step in this framework is a novel query decoder with transformers that can capture the instance information through the superpoint cross-attention mechanism and generate the superpoint masks of the instances. Through bipartite matching based on superpoint masks, SPFormer can implement the network training without the intermediate aggregation step, which accelerates the network. Extensive experiments on ScanNetv2 and S3DIS benchmarks verify that our method is concise yet efficient. Notably, SPFormer exceeds compared state-of-the-art methods by 4.3% on ScanNetv2 hidden test set in terms of mAP and keeps fast inference speed (247ms per frame) simultaneously. Code is available at https://github.com/sunjiahao1999/SPFormer.

研究动机与目标

• 解决现有3D实例分割方法依赖中间目标检测或语义分割步骤的局限性。
• 通过实现端到端训练，消除基于分组方法中常见的耗时聚合步骤。
• 通过利用超点作为中间层次的潜在表示（无需语义标签的直接监督），提升实例分割的准确性。
• 设计一种查询解码器，通过可学习查询向量与超点特征之间的交叉注意力，捕捉实例级信息。
• 通过避免非极大值抑制和中间处理步骤，实现出色的性能与快速推理速度。

提出的方法

• 该方法使用稀疏3D U-Net从输入点云中提取点级特征。
• 通过超点池化层将这些特征聚类为超点，作为3D场景潜在的中间层次表示。
• 使用可学习的查询向量，通过基于Transformer的查询解码器（采用交叉注意力）关注超点特征，以提出实例。
• 查询解码器直接从超点特征生成实例类别、置信度和掩码预测，无需依赖边界框或语义标签。
• 基于超点掩码的二分图匹配机制实现了端到端训练，无需中间聚合或优化模块。
• 模型结合使用Dice损失和二元交叉熵损失进行掩码预测，消融实验表明该组合为最优方案。

实验结果

研究问题

• RQ1 结合自底向上超点分组与自顶向下基于查询的提案的混合两阶段框架，能否提升3D实例分割性能？
• RQ2 如何在不引入中间聚合步骤（从而减慢推理速度）的情况下实现端到端训练？
• RQ3 如何设计一种查询解码器，使其能通过自注意力与交叉注意力机制，从超点特征中有效捕捉实例级信息？
• RQ4 使用潜在的超点特征（未标注、无监督）是否能相比依赖语义或中心点监督的方法带来更好的泛化能力？
• RQ5 所提方法能否在保持快速推理速度的同时实现SOTA性能？

主要发现

• 与之前SOTA方法相比，SPFormer在ScanNetv2隐藏测试集上实现了4.3%更高的mAP。
• 该模型保持了每帧247ms的快速推理速度，显著优于需要聚合步骤的方法。
• 消融实验表明，结合Dice损失与二元交叉熵损失可获得最佳的掩码预测性能。
• 使用6层Transformer解码器和400个查询向量可实现最优性能，且在800个查询时性能趋于饱和。
• 在Transformer解码器中移除位置编码并未降低性能，可能是因为3D点云的不规则性。
• 交叉注意力机制能有效突出感兴趣区域，如注意力热力图与对应掩码预测所示。