[论文解读] A Graph-CNN for 3D Point Cloud Classification

Yingxue Zhang, Michael Rabbat|arXiv (Cornell University)|Nov 28, 2018

3D Shape Modeling and Analysis参考文献 14被引用 6

一句话总结

本文提出PointGCN，一种图卷积神经网络，通过学习图拓扑结构来建模局部几何结构，从而对3D点云进行分类。通过使用局部图卷积和两种新颖的池化策略——全局池化与多分辨率池化，PointGCN在ModelNet上实现了最先进的准确率，且方差显著降低，相比PointNet及其他基于点的方法，表现出更快的收敛速度和更强的鲁棒性。

ABSTRACT

Graph convolutional neural networks (Graph-CNNs) extend traditional CNNs to handle data that is supported on a graph. Major challenges when working with data on graphs are that the support set (the vertices of the graph) do not typically have a natural ordering, and in general, the topology of the graph is not regular (i.e., vertices do not all have the same number of neighbors). Thus, Graph-CNNs have huge potential to deal with 3D point cloud data which has been obtained from sampling a manifold. In this paper, we develop a Graph-CNN for classifying 3D point cloud data, called PointGCN. The architecture combines localized graph convolutions with two types of graph downsampling operations (also known as pooling). By the effective exploration of the point cloud local structure using the Graph-CNN, the proposed architecture achieves competitive performance on the 3D object classification benchmark ModelNet, and our architecture is more stable than competing schemes.

研究动机与目标

• 为解决在保留局部几何结构的同时对3D点云进行分类的挑战，并确保排列不变性。
• 通过图构建引入局部邻域关系，克服PointNet中仅学习全局特征而忽略局部上下文的局限性。
• 开发一种基于图的深度学习框架，利用谱图理论实现各向同性滤波器，从而对旋转和点顺序具有鲁棒性。
• 通过结构化的图表示和高效的池化策略，提升模型稳定性和收敛速度，相比现有基于点的方法更具优势。
• 在不依赖多视角数据增强或体素化的情况下，实现在ModelNet基准上的竞争力表现。

提出的方法

• 该方法为每个点云构建k-最近邻（k-NN）图，将局部几何关系编码为图结构，其中每个点为一个节点，相邻点之间通过边连接。
• 基于切比雪夫多项式应用局部图卷积层，以高效地在图上传播特征，从而学习分层的局部与全局表征。
• 引入两种池化策略：全局最大池化用于汇总整个点云的特征，多分辨率池化用于在不同抽象层级上保留结构细节。
• 架构采用对称图拉普拉斯矩阵定义滤波器，使其具备各向同性与旋转不变性，从而增强对物体方向的鲁棒性。
• 在训练过程中应用加权方案以稳定性能，降低多次随机试验中的方差。
• 模型采用端到端的监督学习进行训练，使用交叉熵损失函数，以优化在ModelNet上的点云分类性能。

实验结果

研究问题

• RQ1 图卷积网络能否在保持排列不变性的同时，有效从非结构化3D点云中学习局部与全局特征？
• RQ2 与仅依赖全局特征的PointNet等方法相比，引入图拓扑结构在提升分类准确率和模型稳定性方面有多大改善？
• RQ3 与仅使用标准最大池化或全局池化相比，局部图卷积与多分辨率池化在增强特征表征方面有多大的提升作用？
• RQ4 使用切比雪夫近似实现的谱图卷积是否能实现3D点云数据上更快的收敛速度和更好的泛化能力？
• RQ5 鉴于其各向同性滤波器设计，该方法在旋转情况下以及无需多视角数据增强时的表现如何？

主要发现

• 在ModelNet 40上，使用多分辨率池化的PointGCN整体准确率达到89.51%，优于PointNet的88.37%，且在50次试验中方差更低。
• 在ModelNet 40上，该模型的平均类别准确率达到86.05%，超过PointNet的85.35%，表现出更高的稳定性。
• 采用全局池化时，PointGCN在ModelNet 40上实现89.27%的整体准确率，表明其在简化架构下仍具有强大性能。
• 在50次训练运行中，PointGCN的性能标准差为0.20%–0.23%，显著低于PointNet的0.33%，表明其具有更优的模型稳定性。
• 可视化结果表明，第一层的活跃点强调局部模式，而第二层的点则捕捉全局结构特征，证实了分层特征学习的存在。
• 由于基于图拉普拉斯矩阵导出的各向同性滤波器，该模型收敛更快，并在旋转下保持鲁棒性，无需依赖多视角输入数据。