[论文解读] Mask3D: Mask Transformer for 3D Semantic Instance Segmentation

Jonas Schult, Francis Engelmann+4 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Neural Network Applications被引用 11

一句话总结

Mask3D 提出了一种基于 Transformer 的新颖方法，用于 3D 语义实例分割，通过可学习的实例查询直接从点云预测实例掩码，无需依赖手工设计的投票机制或几何聚类方法。该方法在多个基准测试中达到最先进性能，包括在 ScanNet200 上提升 +12.4 mAP。

ABSTRACT

Modern 3D semantic instance segmentation approaches predominantly rely on specialized voting mechanisms followed by carefully designed geometric clustering techniques. Building on the successes of recent Transformer-based methods for object detection and image segmentation, we propose the first Transformer-based approach for 3D semantic instance segmentation. We show that we can leverage generic Transformer building blocks to directly predict instance masks from 3D point clouds. In our model called Mask3D each object instance is represented as an instance query. Using Transformer decoders, the instance queries are learned by iteratively attending to point cloud features at multiple scales. Combined with point features, the instance queries directly yield all instance masks in parallel. Mask3D has several advantages over current state-of-the-art approaches, since it neither relies on (1) voting schemes which require hand-selected geometric properties (such as centers) nor (2) geometric grouping mechanisms requiring manually-tuned hyper-parameters (e.g. radii) and (3) enables a loss that directly optimizes instance masks. Mask3D sets a new state-of-the-art on ScanNet test (+6.2 mAP), S3DIS 6-fold (+10.1 mAP), STPLS3D (+11.2 mAP) and ScanNet200 test (+12.4 mAP).

研究动机与目标

• 解决当前 3D 实例分割方法依赖手工调优组件（如几何投票和聚类启发式方法）的局限性。
• 实现端到端训练，通过直接的掩码监督信号，避免对投票结果使用代理损失。
• 利用 Transformer 的注意力机制，联合推理点特征并学习实例查询以进行掩码预测。
• 证明纯 Transformer 架构可在 3D 实例分割中超越现有的 CNN 基方法。
• 提供一个统一的、可微分的框架，通过基于注意力的查询解码并行预测语义标签和实例掩码。

提出的方法

• 使用实例查询作为可学习嵌入，通过 Transformer 解码器关注多尺度点云特征。
• 每个实例查询通过多头自注意力和与点特征的交叉注意力进行优化，生成特定于实例的特征。
• 通过计算实例特征与点云中所有点特征之间的相似度得分来预测实例掩码。
• 在训练过程中采用二分匹配策略（匈牙利匹配）将预测结果与真实实例关联。
• 结合二元交叉熵损失和 Dice 损失进行掩码监督，以处理前景-背景类别不平衡问题。
• 通过最远点采样（FPS）实现非参数化查询初始化，以提升性能，优于参数化查询。

Figure 2: Illustration of the Mask3D model. The feature backbone outputs multi-scale point features $\mathbf{F}$ , while the Transformer decoder iteratively refines the instance queries $\mathbf{X}$ . Given point features and instance queries, the mask module predicts for each query a semantic class

实验结果

研究问题

• RQ1 纯 Transformer 架构能否在不依赖几何投票或聚类启发式方法的情况下直接预测 3D 实例掩码？
• RQ2 通过可微分损失实现的端到端掩码监督，与对投票结果使用代理损失相比，在 3D 实例分割中表现如何？
• RQ3 查询初始化策略（参数化 vs. 非参数化）对模型性能有何影响？
• RQ4 实例查询的数量如何影响推理质量与效率？
• RQ5 自注意力机制能否有效捕捉大规模 3D 场景中的长距离依赖关系，以实现准确的实例预测？

主要发现

• Mask3D 在 ScanNet 测试集上达到新的最先进水平，相比之前方法提升 +6.2 mAP。
• 在 S3DIS 6 折划分中，Mask3D 相比之前最先进方法提升 mAP +10.1。
• 在 STPLS3D 上，其 mAP 提升 +11.2，展现出跨领域强大的泛化能力。
• 在 ScanNet200 上，Mask3D 以 +12.4 mAP 的提升创下新 SOTA，凸显其在大规模、细粒度类别上的鲁棒性。
• 通过 FPS 实现的非参数化查询初始化优于参数化查询，当查询初始化为零时性能最佳。
• 模型在早期解码层即展现出掩码质量的快速提升，四层后收益递减，表明特征优化过程高效。

Figure 3: Number of queries and decoder layers.