[论文解读] Exploiting Local and Global Structure for Point Cloud Semantic Segmentation with Contextual Point Representations

Xu Wang, Jingming He+1 more|arXiv (Cornell University)|Nov 12, 2019

3D Shape Modeling and Analysis参考文献 28被引用 24

一句话总结

该论文提出ELGS，一种新颖的点云语义分割模型，通过上下文点表示、带有图注意力的图PointNet模块以及空间/通道注意力机制，增强局部与全局结构建模。在S3DIS和ScanNet数据集上达到最先进性能，S3DIS上mIoU达88.43%，ScanNet上达60.06%，优于先前方法，同时保持高效的推理时间。

ABSTRACT

In this paper, we propose one novel model for point cloud semantic segmentation, which exploits both the local and global structures within the point cloud based on the contextual point representations. Specifically, we enrich each point representation by performing one novel gated fusion on the point itself and its contextual points. Afterwards, based on the enriched representation, we propose one novel graph pointnet module, relying on the graph attention block to dynamically compose and update each point representation within the local point cloud structure. Finally, we resort to the spatial-wise and channel-wise attention strategies to exploit the point cloud global structure and thereby yield the resulting semantic label for each point. Extensive results on the public point cloud databases, namely the S3DIS and ScanNet datasets, demonstrate the effectiveness of our proposed model, outperforming the state-of-the-art approaches. Our code for this paper is available at https://github.com/fly519/ELGS.

研究动机与目标

• 为解决3D语义分割中稀疏无序点云的挑战，通过引入上下文信息增强点表示。
• 通过建模超越简单点划分的复杂局部结构，改进局部特征学习。
• 显式利用远距离点之间的全局关系，以提高语义标记的准确性。
• 设计一种高效架构，在计算成本低的前提下保持高性能。

提出的方法

• 提出一种上下文表示模块，通过新颖的门控融合机制将点自身特征与其邻域信息融合。
• 提出图PointNet模块（GPM），利用图注意力模块在局部邻域内动态更新点特征。
• 采用空间注意力与通道注意力机制，建模整个点云中的长距离依赖与全局上下文。
• 通过层次化堆叠GPM，从局部到全局尺度逐步构建紧凑的高层表示。
• 将所有组件整合为端到端可训练的点云语义分割框架。
• 采用多尺度聚合策略，在特征学习中平衡局部细节与全局上下文。

实验结果

研究问题

• RQ1 点与其邻域的门控融合是否能提升稀疏无序点云中的语义表示？
• RQ2 可学习的图注意力机制是否能比PointNet++中的固定划分更好地建模复杂局部结构？
• RQ3 显式建模全局空间与通道关系是否能提升点云的分割精度？
• RQ4 所提出的模块在性能与鲁棒性方面，各自及协同贡献如何？
• RQ5 与现有最先进方法相比，该模型是否能在保持低推理成本的同时维持高精度？

主要发现

• 所提模型在S3DIS数据集上达到88.43% mIoU，在ScanNet数据集上达到60.06% mIoU，优于最先进方法。
• 消融实验表明，移除上下文表示模块后，mIoU从60.06%降至56.15%，尤其在'column'和'sofa'等类别上显著下降。
• 图PointNet模块（GPM）对性能至关重要，移除后mIoU明显下降，尤其在复杂局部结构上。
• 注意力模块显著提升大面积平坦区域（如'ceiling'、'floor'、'wall'）的性能，移除后mIoU下降最高达3.5%。
• 模型每4096个点样本的推理时间为28.0ms，速度优于大多数竞争对手，同时模型参数量小（1.04M）。
• 模型在缩放变换下表现出更强鲁棒性（OA下降3.0% vs. PointNet++的4.5%），但在旋转变换下鲁棒性略低，表明对数据增强敏感性存在权衡。