[论文解读] Point Attention Network for Semantic Segmentation of 3D Point Clouds

Mingtao Feng, Liang Zhang+3 more|arXiv (Cornell University)|Sep 27, 2019

3D Shape Modeling and Analysis参考文献 52被引用 16

一句话总结

本文提出了一种用于3D点云语义分割的点注意力网络（PAN），结合了局部注意力-边缘卷积（LAE-Conv）层与逐点空间注意力模块。LAE-Conv通过构建方向性邻域图并利用可学习注意力机制实现几何不变的特征聚合，而空间注意力模块则捕捉长程依赖关系。该方法在S3DIS和ShapeNet基准上实现了最先进性能，在关键指标上优于先前方法。

ABSTRACT

Convolutional Neural Networks (CNNs) have performed extremely well on data represented by regularly arranged grids such as images. However, directly leveraging the classic convolution kernels or parameter sharing mechanisms on sparse 3D point clouds is inefficient due to their irregular and unordered nature. We propose a point attention network that learns rich local shape features and their contextual correlations for 3D point cloud semantic segmentation. Since the geometric distribution of the neighboring points is invariant to the point ordering, we propose a Local Attention-Edge Convolution (LAE Conv) to construct a local graph based on the neighborhood points searched in multi-directions. We assign attention coefficients to each edge and then aggregate the point features as a weighted sum of its neighbors. The learned LAE-Conv layer features are then given to a point-wise spatial attention module to generate an interdependency matrix of all points regardless of their distances, which captures long-range spatial contextual features contributing to more precise semantic information. The proposed point attention network consists of an encoder and decoder which, together with the LAE-Conv layers and the point-wise spatial attention modules, make it an end-to-end trainable network for predicting dense labels for 3D point cloud segmentation. Experiments on challenging benchmarks of 3D point clouds show that our algorithm can perform at par or better than the existing state of the art methods.

研究动机与目标

• 解决现有3D点云分割方法在捕捉局部几何细节与长程上下文关系方面的局限性。
• 开发一种可学习的、排列不变的机制，以有效建模不规则、无序点云中的局部点关系。
• 通过新型基于注意力的架构整合局部与全局上下文特征，提升语义分割精度。
• 设计一种分层的、端到端可训练网络，实现对多样化3D场景与物体类别的良好泛化能力。
• 在S3DIS和ShapeNet等标准3D点云基准上超越现有最先进方法。

提出的方法

• 提出一种局部注意力-边缘卷积（LAE-Conv）层，通过球查询内的多方向邻域搜索构建局部图，提升几何泛化能力。
• 为局部图中的边分配可学习注意力系数，并将特征聚合为邻居的加权和，增强特征表示的鲁棒性。
• 通过设计LAE-Conv层独立于点顺序，确保排列不变性，利用对无序局部邻域的注意力机制。
• 引入逐点空间注意力模块，计算所有点之间的全局依赖矩阵，建模超出局部感受野的长程空间相关性。
• 在U型编码器-解码器架构中结合LAE-Conv层与空间注意力模块，实现端到端训练与密集预测。
• 通过分层网络中的多尺度特征学习，使深层网络捕获更大感受野与更抽象的特征。

实验结果

研究问题

• RQ1 在多方向局部图上使用可学习注意力机制是否能提升不规则3D点云中的局部特征表示？
• RQ2 逐点空间注意力模块是否能有效建模3D点云中远距离点之间的长程依赖关系？
• RQ3 将局部注意力与全局空间注意力结合，是否能带来优于现有方法的语义分割性能？
• RQ4 所提出的LAE-Conv与注意力模块是否能有效集成到U型网络中，实现端到端训练与推理？
• RQ5 所提方法在标准3D点云分割基准上的表现与最先进模型相比如何？

主要发现

• 所提出的点注意力网络在S3DIS数据集上实现了85.5%的平均交并比（mIoU），优于先前最先进方法。
• 在ShapeNet数据集上，该方法实现了84.10%的部件平均IoU与82.8%的各类别平均IoU，在大多数类别中排名前列。
• 在耳塞、台灯、电机与火箭等特定类别上表现最优，尤其在数据点较少时受益显著。
• 消融实验表明，LAE-Conv与空间注意力模块均对性能提升有显著贡献，后者尤其增强了长程上下文建模能力。
• 该网络在多样化3D场景与物体类型上表现出良好泛化能力，展示了在大规模基准上的鲁棒性与可扩展性。
• 该方法在S3DIS与ShapeNet上均取得最先进结果，验证了所提出基于注意力架构的有效性。