[论文解读] Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling

Yiru Shen, Chen Feng+2 more|arXiv (Cornell University)|Dec 19, 2017

3D Shape Modeling and Analysis参考文献 37被引用 43

一句话总结

该论文提出KCNet，一种基于PointNet的架构，通过引入核相关性以挖掘局部几何结构，并采用图池化进行局部特征结构聚合，从而增强3D点云的语义学习。通过学习对邻域几何具有响应的点集核（通过核相关性实现），并在最近邻图上递归聚合特征，KCNet在ModelNet40和ShapeNetPart数据集上实现了最先进性能，相较于PointNet++，其对噪声更具鲁棒性且参数量更少。

ABSTRACT

Unlike on images, semantic learning on 3D point clouds using a deep network is challenging due to the naturally unordered data structure. Among existing works, PointNet has achieved promising results by directly learning on point sets. However, it does not take full advantage of a point's local neighborhood that contains fine-grained structural information which turns out to be helpful towards better semantic learning. In this regard, we present two new operations to improve PointNet with a more efficient exploitation of local structures. The first one focuses on local 3D geometric structures. In analogy to a convolution kernel for images, we define a point-set kernel as a set of learnable 3D points that jointly respond to a set of neighboring data points according to their geometric affinities measured by kernel correlation, adapted from a similar technique for point cloud registration. The second one exploits local high-dimensional feature structures by recursive feature aggregation on a nearest-neighbor-graph computed from 3D positions. Experiments show that our network can efficiently capture local information and robustly achieve better performances on major datasets. Our code is available at http://www.merl.com/research/license#KCNet

研究动机与目标

• 为解决PointNet在捕捉无序3D点云中细粒度局部几何与特征结构方面的局限性。
• 开发高效、可学习的操作，具有清晰的几何解释，以增强PointNet而不增加架构复杂度。
• 通过新颖的深度学习操作，利用局部邻域模式提升3D点云的语义学习性能。

提出的方法

• 引入核相关性层，将可学习的点集核定义为M个3D点的集合，该核基于几何亲和力通过核相关性测量，共同响应某一点的K个最近邻。
• 使用核相关性——一种源自点云配准的可微分相似性度量——计算点的邻域与可学习核之间的亲和力，以捕捉如角点、边缘和表面等复杂局部结构。
• 在基于3D欧氏距离预先计算的最近邻图上应用图池化，实现递归特征聚合，从而保留局部高维特征结构。
• 在改进的PointNet架构中结合核相关性和图池化，采用特征拼接和ReLU/Softmax激活函数，同时为简化起见避免使用BatchNorm。
• 通过最大池化（利用对称函数）确保排列不变性，选择图最大池化而非平均池化，因其性能更优且速度更快。
• 采用标准交叉熵损失进行端到端训练，仅在最后的MLP层应用Dropout以防止过拟合。

实验结果

研究问题

• RQ1 通过核相关性实现几何亲和力的可学习点集核，能否有效捕捉点云中如平面、边缘和角点等复杂局部3D结构？
• RQ2 通过图池化引入局部特征结构，是否能超越PointNet的逐点特征学习，提升语义表征能力？
• RQ3 在标准3D点云基准测试中，该方法与PointNet和PointNet++相比，在性能和鲁棒性方面表现如何？
• RQ4 哪些超参数（L, M, σ）显著影响模型的准确率与泛化能力，其最优值是什么？
• RQ5 当随机点被污染时，模型对输入噪声的鲁棒性如何，尤其在何种程度上保持稳定？

主要发现

• KCNet在ModelNet40测试集上达到91.0%的准确率，优于原始PointNet（87.2%），并匹配或超越PointNet++，且仅使用原始点云，无需表面法向量。
• 仅使用核相关性层即可将准确率提升至90.5%，证明其在捕捉局部几何结构方面优于简单点特征。
• 图最大池化相比图平均池化带来微小但稳定的性能提升（88.6% vs. 88.0%），且速度更快、对噪声更鲁棒。
• 完整KCNet模型（结合核相关性与图池化）达到91.0%准确率，证实两种局部结构学习机制具有互补优势。
• KCNet对随机噪声具有显著更强的鲁棒性：当10%的点被噪声替代时，KCNet准确率仅下降23.8%（降至67.2%），而PointNet下降58.6%（降至30.6%）。
• 消融实验表明，最优配置为L=32个核，M=16个核点，σ=5e-3，可在性能与泛化能力之间取得最佳平衡。