[论文解读] Contrastive Boundary Learning for Point Cloud Segmentation

Liyao Tang, Yibing Zhan+3 more|arXiv (Cornell University)|Mar 10, 2022

3D Surveying and Cultural Heritage被引用 10

一句话总结

本文提出对比边界学习（CBL），一种新颖的框架，通过多尺度对比优化提升场景边界处的特征判别能力，从而增强3D点云分割性能。CBL在多个基线模型和数据集上均实现了边界分割与整体分割性能的一致性提升，包括在Semantic3D和S3DIS数据集上取得当前最优结果。

ABSTRACT

Point cloud segmentation is fundamental in understanding 3D environments. However, current 3D point cloud segmentation methods usually perform poorly on scene boundaries, which degenerates the overall segmentation performance. In this paper, we focus on the segmentation of scene boundaries. Accordingly, we first explore metrics to evaluate the segmentation performance on scene boundaries. To address the unsatisfactory performance on boundaries, we then propose a novel contrastive boundary learning (CBL) framework for point cloud segmentation. Specifically, the proposed CBL enhances feature discrimination between points across boundaries by contrasting their representations with the assistance of scene contexts at multiple scales. By applying CBL on three different baseline methods, we experimentally show that CBL consistently improves different baselines and assists them to achieve compelling performance on boundaries, as well as the overall performance, eg in mIoU. The experimental results demonstrate the effectiveness of our method and the importance of boundaries for 3D point cloud segmentation. Code and model will be made publicly available at https://github.com/LiyaoTang/contrastBoundary.

研究动机与目标

• 探究并量化现有3D点云分割方法在场景边界处表现不佳的原因。
• 识别出当前指标无法准确捕捉边界特异性分割精度，导致对边界相关缺陷的低估。
• 提出一种新颖框架，显式提升边界区域的特征表示与分割精度，且无需依赖显式的边界监督信号。
• 证明优化边界对齐可带来在多种数据集与网络架构下，边界与整体分割性能的一致性提升。

提出的方法

• 引入一种对比学习目标，通过多尺度上下文最大化边界两侧点之间的特征判别能力。
• 通过点云子采样实现子场景边界挖掘，以在多个空间尺度下识别边界区域。
• 基于子采样点云中提取的正负样本对，对边界点的特征表示实施对比优化。
• 将CBL作为即插即用模块集成到现有3D分割网络（如RandLA-Net、ConvNet）中，无需修改网络结构。
• 采用多尺度头聚合不同子采样层级的特征，增强边界感知的表征学习能力。
• 同时使用mIoU@boundary与边界IoU（B-IoU）作为评估指标，以专门衡量边界分割质量。

实验结果

研究问题

• RQ1 当前3D点云分割方法在场景边界处的表现与整体性能相比如何？
• RQ2 标准指标（如mIoU）在多大程度上无法反映边界分割精度的不足？
• RQ3 对比学习能否被有效适配以在无显式边界标注的情况下提升3D场景边界处的特征判别能力？
• RQ4 优化边界对齐是否能在不同模型与数据集上均带来边界与整体分割性能的一致性提升？
• RQ5 多尺度特征学习与子场景边界挖掘对整体性能提升的贡献分别是什么？

主要发现

• 当前3D分割方法在场景边界处表现显著下降，mIoU@boundary常远低于整体mIoU，表明边界理解存在关键性差距。
• 将CBL应用于基础ConvNet时，在ScanNet验证集上mIoU提升+1.27%，OA提升+0.34%，表现出一致的性能增益。
• 在S3DIS数据集上，CBL使基础ConvNet达到70.5%的mIoU，超越更复杂的模型如BA-GEM与JSENet。
• 在Semantic3D数据集上，CBL使RandLA-Net实现78.4%的新SOTA mIoU，优于先前所有方法。
• 消融实验表明，子场景边界挖掘与多尺度特征学习对性能增益至关重要，当与多尺度头结合时，CBL实现+1.62%的mIoU提升。
• CBL在多种数据集（S3DIS、ScanNet、NPM3D、Semantic3D）与基线模型上均持续提升性能，验证了其泛化能力与鲁棒性。