[论文解读] Linked Dynamic Graph CNN: Learning on Point Cloud via Linking Hierarchical Features

Kuangen Zhang, Ming Hao+3 more|arXiv (Cornell University)|Apr 22, 2019

3D Shape Modeling and Analysis参考文献 24被引用 142

一句话总结

LDGCNN 通过将来自多个动态图的层级特征连接起来并去除变换网络，提升点云分类和分割，达到 ModelNet40 和 ShapeNet 的最先进结果。

ABSTRACT

Learning on point cloud is eagerly in demand because the point cloud is a common type of geometric data and can aid robots to understand environments robustly. However, the point cloud is sparse, unstructured, and unordered, which cannot be recognized accurately by a traditional convolutional neural network (CNN) nor a recurrent neural network (RNN). Fortunately, a graph convolutional neural network (Graph CNN) can process sparse and unordered data. Hence, we propose a linked dynamic graph CNN (LDGCNN) to classify and segment point cloud directly in this paper. We remove the transformation network, link hierarchical features from dynamic graphs, freeze feature extractor, and retrain the classifier to increase the performance of LDGCNN. We explain our network using theoretical analysis and visualization. Through experiments, we show that the proposed LDGCNN achieves state-of-art performance on two standard datasets: ModelNet40 and ShapeNet.

研究动机与目标

• 直接在稀疏、无序的点云上学习，无需规则网格或法线
• 通过连接来自不同动态图的特征来改进 DGCNN
• 消除变换网络并展示基于 MLP 的旋转不变性
• 通过冻结特征提取器并重新训练分类器来提升性能
• 提供理论分析、可视化和消融实验以验证设计选择

提出的方法

• 在点云上使用 K-NN 构建局部定向图
• 使用共享的 MLP 和最大池化通过边卷积提取局部特征
• 链接来自不同动态图的层级特征以计算有信息量的边向量
• 移除变换网络，依赖 MLP 来近似旋转不变性
• 可选地冻结特征提取器并重新训练分类器以提升性能

实验结果

研究问题

• RQ1 在动态图之间链接层级特征是否能提高点云的边特征质量？
• RQ2 在使用基于 MLP 的方法时，是否需要变换网络来实现旋转/不变性？
• RQ3 冻结特征提取器并重新训练分类器是否能提升在标准数据集上的总体准确率？
• RQ4 LDGCNN 相对于在 ModelNet40 分类和 ShapeNet 分割的最先进方法表现如何？
• RQ5 在特征空间中使用 K-NN 与在欧几里得空间中用于边计算的影响有多大？

主要发现

方法	输入	MA (%)	OA (%)
PointNet	1024 points	86.0	89.2
PointNet++	5000 points+normal	-	90.7
KD-Net	1024 points	-	91.8
DGCNN	1024 points	-	92.2
SpiderCNN	1024 points+normal	-	92.4
PointCNN	1024 points	-	92.2
Ours	1024 points	90.3	92.9

• LDGCNN 在 ModelNet40 的 1024 点输入上达到最先进的性能，OA 92.9% 和 MA 90.3%。
• 在 ShapeNet 分割中，与先前方法相比，LDGCNN 在各部分的平均 IoU 具有竞争力（见表 2）。
• 在使用 MLP 提取特征的同时移除变换网络，保持或提高性能。
• 冻结特征提取器并重新训练分类器使 ModelNet40 OA 从 91.8% 提升到 92.9%。
• LDGCNN 的模型规模更小，前向时间与若干基线相比具有可比性或更快（例如 OA 92.9% 对应 1.08M 参数）。