[论文解读] GAPNet: Graph Attention based Point Neural Network for Exploiting Local Feature of Point Cloud

Can Chen, Luca Zanotti Fragonara+1 more|arXiv (Cornell University)|May 21, 2019

3D Shape Modeling and Analysis被引用 40

一句话总结

GAPNet 在点云上引入多头图注意力，以学习局部几何特征，在 ModelNet40 分类和 ShapeNet Part 分割上达到最新性能。它将 GAPLayer 与注意力池化集成到一个 MLP 框架中。

ABSTRACT

Exploiting fine-grained semantic features on point cloud is still challenging due to its irregular and sparse structure in a non-Euclidean space. Among existing studies, PointNet provides an efficient and promising approach to learn shape features directly on unordered 3D point cloud and has achieved competitive performance. However, local feature that is helpful towards better contextual learning is not considered. Meanwhile, attention mechanism shows efficiency in capturing node representation on graph-based data by attending over neighboring nodes. In this paper, we propose a novel neural network for point cloud, dubbed GAPNet, to learn local geometric representations by embedding graph attention mechanism within stacked Multi-Layer-Perceptron (MLP) layers. Firstly, we introduce a GAPLayer to learn attention features for each point by highlighting different attention weights on neighborhood. Secondly, in order to exploit sufficient features, a multi-head mechanism is employed to allow GAPLayer to aggregate different features from independent heads. Thirdly, we propose an attention pooling layer over neighbors to capture local signature aimed at enhancing network robustness. Finally, GAPNet applies stacked MLP layers to attention features and local signature to fully extract local geometric structures. The proposed GAPNet architecture is tested on the ModelNet40 and ShapeNet part datasets, and achieves state-of-the-art performance in both shape classification and part segmentation tasks.

研究动机与目标

• 激发并应对在不规则点云中利用细粒度局部特征的挑战。
• 提出在 k-NN 图上使用自注意力和邻域注意力的 GAPLayer 的 GAPNet。
• 引入一个注意力池化层以获取局部签名并提高鲁棒性。
• 将 GAPLayer 和池化集成到堆叠的 MLP 中，以改进局部几何特征提取。
• 在 ModelNet40 的形状分类和 ShapeNet Part 分割上展示先进水平的性能。

提出的方法

• 构建一个有向的 k-NN 图来建模每个点的局部结构。
• 通过单头 GAPLayer 使用 LeakyReLU 融合和 softmax 归一化来计算自注意力系数和局部注意力系数。
• 聚合经注意力处理的邻居特征以形成注意力特征。
• 通过连接来自 M 个头的输出，将其扩展为多头 GAPLayer。
• 对邻居特征应用一个注意力池化层以获得局部签名。
• 将 GAPLayer 和池化整合到一个具有共享 MLP 的分类和分割任务的架构中。

实验结果

研究问题

• RQ1 图注意力在局部邻域上的应用能否改善点云在分类和分割中的局部特征学习？
• RQ2 相比单头注意力，多头 GAPLayer 是否能更好地捕捉多样的局部表示？
• RQ3 注意力池化层对鲁棒性和性能的影响是什么？
• RQ4 GAPNet 与 ModelNet40 和 ShapeNet Part 数据集的当前最先进结果相比如何？

主要发现

• GAPNet 在 ModelNet40 形状分类方面达到最先进的性能，在所报告的设置中比包括 DGCNN 在内的先前方法高出 0.2% 的准确率。
• 在 ShapeNet Part 上，GAPNet 获得有竞争力的平均 IoU 和逐部件的准确率，在多个类别上都表现强劲。
• 消融研究显示注意力池化层大约增加 0.6% 的准确率，GAPLayer 学习的注意力（相对于常数系数）贡献约 0.7% 的准确率。
• 改变头数和编码通道数揭示一个平衡点，在该点 4 头和 16 通道提供强劲性能；头数/通道数过多可能降低结果。