[论文解读] Box2Mask: Weakly Supervised 3D Semantic Instance Segmentation Using Bounding Boxes

Julian Chibane, Francis Engelmann+2 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出 Box2Mask，一种弱监督的3D语义实例分割方法，仅使用3D边界框标注训练深度模型，避免了昂贵的逐点标注。受霍夫投票启发，该方法直接回归边界框参数，并通过聚类投票生成密集的实例掩码，在ScanNet上达到全监督模型97%的mAP50性能，且在仅使用框级标注的情况下，于ARKitScenes数据集上也表现出色。

ABSTRACT

Current 3D segmentation methods heavily rely on large-scale point-cloud datasets, which are notoriously laborious to annotate. Few attempts have been made to circumvent the need for dense per-point annotations. In this work, we look at weakly-supervised 3D semantic instance segmentation. The key idea is to leverage 3D bounding box labels which are easier and faster to annotate. Indeed, we show that it is possible to train dense segmentation models using only bounding box labels. At the core of our method, ame{}, lies a deep model, inspired by classical Hough voting, that directly votes for bounding box parameters, and a clustering method specifically tailored to bounding box votes. This goes beyond commonly used center votes, which would not fully exploit the bounding box annotations. On ScanNet test, our weakly supervised model attains leading performance among other weakly supervised approaches (+18 mAP@50). Remarkably, it also achieves 97% of the mAP@50 score of current fully supervised models. To further illustrate the practicality of our work, we train Box2Mask on the recently released ARKitScenes dataset which is annotated with 3D bounding boxes only, and show, for the first time, compelling 3D instance segmentation masks.

研究动机与目标

• 通过将密集的逐点标注替换为更易标注的3D边界框，减轻3D语义实例分割中的标注负担。
• 开发一种深度学习方法，充分利用边界框标注进行密集预测，超越简单的中心点监督。
• 证明基于边界框训练的弱监督模型可达到或超过以往弱监督方法的性能。
• 实现在如ARKitScenes等大规模数据集上高质量的3D实例分割，这些数据集仅提供3D边界框标注。

提出的方法

• 提出一种深度霍夫投票网络，直接从点云特征回归3D边界框参数（中心、尺寸、类别）。
• 采用针对边界框预测生成的投票聚类量身定制的可微聚类机制，生成实例掩码。
• 设计一种新颖的点到框关联函数，将点分配至真实边界框，对处于多个框中的不确定点（即重叠区域点）采用最近或最小框等启发式规则进行监督。
• 通过弱监督损失函数端到端训练模型，利用点到框的关联关系监督密集预测。
• 通过切换监督信号，该框架可灵活适配弱监督与全监督设置。
• 该方法显著优于仅依赖检测后处理生成掩码的基线方法。

实验结果

研究问题

• RQ1 仅使用3D边界框标注是否足以训练出高性能的3D语义实例分割模型？
• RQ2 基于边界框训练的弱监督模型性能与全监督SOTA模型相比如何？
• RQ3 所提方法能否超越简单的点关联，学习到完整的物体先验？
• RQ4 该方法对噪声或不完整的边界框标注有多强的鲁棒性？
• RQ5 该方法能否在仅提供3D边界框标注的大规模数据集上生成具有说服力的实例分割结果？

主要发现

• 在ScanNet测试集上，Box2Mask达到64.7 mAP50，为全监督SSTNet模型（64.3 mAP50）的97%。
• 该模型大幅超越以往弱监督方法，mAP50较之前弱监督方法提升+18。
• 即使仅80%的边界框存在（10%缺失），模型仍保持强性能，mAP50仅下降约4。
• 当使用存在高达20厘米角点位置误差的噪声框标签时，模型表现出鲁棒性，性能下降可忽略。
• 在仅以3D边界框标注的ARKitScenes数据集上，Box2Mask首次生成了具有说服力的3D实例分割掩码，证明了其实际应用潜力。
• 与仅检测的基线方法相比，性能显著提升（在ScanNet上提升+11.8 mAP50），表明其学习到了比简单框到点关联更丰富的物体先验。