[论文解读] ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling and Box-aware Dynamic Convolution

Tuan Ngo, Binh‐Son Hua+1 more|arXiv (Cornell University)|Mar 1, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

ISBNet 提出了一种无需聚类的3D点云实例分割网络，通过实例感知最远点采样（IA-FPS）生成高召回率、具有区分性的实例核，并利用框感知动态卷积提升掩码预测性能。该方法在ScanNetV2（55.9 AP）、S3DIS（60.8 AP）和STPLS3D（49.2 AP）上均达到最先进性能，单场景推理速度达237ms。

ABSTRACT

Existing 3D instance segmentation methods are predominated by the bottom-up design -- manually fine-tuned algorithm to group points into clusters followed by a refinement network. However, by relying on the quality of the clusters, these methods generate susceptible results when (1) nearby objects with the same semantic class are packed together, or (2) large objects with loosely connected regions. To address these limitations, we introduce ISBNet, a novel cluster-free method that represents instances as kernels and decodes instance masks via dynamic convolution. To efficiently generate high-recall and discriminative kernels, we propose a simple strategy named Instance-aware Farthest Point Sampling to sample candidates and leverage the local aggregation layer inspired by PointNet++ to encode candidate features. Moreover, we show that predicting and leveraging the 3D axis-aligned bounding boxes in the dynamic convolution further boosts performance. Our method set new state-of-the-art results on ScanNetV2 (55.9), S3DIS (60.8), and STPLS3D (49.2) in terms of AP and retains fast inference time (237ms per scene on ScanNetV2). The source code and trained models are available at https://github.com/VinAIResearch/ISBNet.

研究动机与目标

• 为解决基于自底向上的3D实例分割方法依赖聚类所存在的局限性，尤其在物体密集排列或大物体松散连接时易失效的问题。
• 通过引入新型实例感知采样策略替代基于中心点的聚类，提升实例召回率与特征区分性。
• 通过在动态卷积中引入3D轴对齐边界框作为辅助几何线索，提升掩码预测的准确性。
• 在多个基准数据集上实现最先进性能，同时仅做最小程度的网络架构修改，并保持高效推理。

提出的方法

• 提出实例感知最远点采样（IA-FPS），通过基于预测实例置信度的迭代采样策略，提升实例召回率。
• 采用点聚合模块，将IA-FPS与局部聚合层结合，将形状、尺寸和语义特征编码为实例级表示。
• 提出框感知动态卷积，利用预测的3D轴对齐边界框作为几何先验，指导动态卷积核的生成。
• 采用多头结构，联合预测实例掩码、类别标签和3D边界框，其中边界框预测作为几何正则化项与推理引导。
• 采用轻量化动态卷积头，仅含216个参数，在保持高推理速度的同时实现优异性能。
• 在IA-FPS中实施分层采样策略，将采样过程划分为较小的块（如192、128、64），以提升稳定性和性能。

实验结果

研究问题

• RQ1 与传统基于聚类的方法相比，实例感知采样是否能提升3D点云实例分割中的实例召回率并减少误分组？
• RQ2 在基于动态卷积的3D实例分割中，将3D轴对齐边界框作为辅助监督信号，是否能提升掩码预测的准确性？
• RQ3 特别是引入几何线索后，动态卷积的设计如何影响3D实例分割的性能与效率？
• RQ4 无聚类框架是否能在无需针对各数据集进行大量超参数调优的情况下实现最先进性能？
• RQ5 在采样策略、网络深度与动态卷积架构之间，如何实现高精度与高速推理的最佳权衡？

主要发现

• ISBNet在ScanNetV2上达到55.9 AP，超越此前最先进方法+2.7 AP，单场景推理时间仅237ms。
• 在S3DIS上，ISBNet达到60.8 AP，较最强基线提升+2.4 AP。
• 在STPLS3D上，ISBNet达到49.2 AP，较此前最先进方法提升+3.0 AP。
• 消融实验表明，IA-FPS中使用192、128和64作为块大小时性能最佳（54.5 AP），优于单一大块采样。
• 仅含216个参数的框感知动态卷积即可达到53.6 AP，证明即使参数极少，几何线索也能显著提升性能。
• 运行时分析表明，ISBNet是五种SOTA方法中推理最快的方法，其中主干网络耗时152ms，实例抽象阶段53ms，掩码解码阶段32ms。