[论文解读] Local Spectral Graph Convolution for Point Set Feature Learning

Chu Wang, Babak Samari+1 more|arXiv (Cornell University)|Mar 15, 2018

3D Shape Modeling and Analysis参考文献 18被引用 61

一句话总结

本文在 k-NN 邻域上引入局部谱图卷积，并结合递归聚类池化以学习点云的联合邻域特征，在分类和分割方面相对于 PointNet++ 展现出最先进的结果。

ABSTRACT

Feature learning on point clouds has shown great promise, with the introduction of effective and generalizable deep learning frameworks such as pointnet++. Thus far, however, point features have been abstracted in an independent and isolated manner, ignoring the relative layout of neighboring points as well as their features. In the present article, we propose to overcome this limitation by using spectral graph convolution on a local graph, combined with a novel graph pooling strategy. In our approach, graph convolution is carried out on a nearest neighbor graph constructed from a point's neighborhood, such that features are jointly learned. We replace the standard max pooling step with a recursive clustering and pooling strategy, devised to aggregate information from within clusters of nodes that are close to one another in their spectral coordinates, leading to richer overall feature descriptors. Through extensive experiments on diverse datasets, we show a consistent demonstrable advantage for the tasks of both point set classification and segmentation.

研究动机与目标

• 通过将邻域结构纳入其中，推动对无组织的 3D 点云的鲁棒特征学习。
• 从 k-NN 邻域中学习联合特征，而不是仅仅学习独立的逐点特征。
• 用递归聚类池化替代最大池化，以捕捉多种显著的局部特征。
• 开发一个端到端可训练的框架，在无需离线预计算的情况下就地构建图结构。

提出的方法

• 为每个点的邻域构建局部 k-NN 图并计算其拉普拉斯算子。
• 应用图傅里叶变换以获得邻域特征的谱表示。
• 在图傅里叶域学习谱滤波器并再变换回时域。
• 用由 Fiedler 向量引导的递归谱聚类池化替换最大池化，以在具有相似谱坐标的簇内聚合特征。
• 将局部谱卷积集成到类似 PointNet++ 的框架中，实现端到端训练且无需离线图预计算。

实验结果

研究问题

• RQ1 局部谱图卷积是否比传统点级 MLP（如 PointNet++）在特征学习方面更优？
• RQ2 相较于标准最大池化，谱坐标的递归聚类池化是否能更好地捕捉多种显著的局部特征？
• RQ3 该方法对输入规模是否具有可扩展性，且是否能够在无需离线图预计算的情况下实现端到端训练？
• RQ4 在常见的 3D 点云基准数据集上，分类和分割的性能提升有哪些？

主要发现

• 在局部 k-NN 图上的谱图卷积优于点级 MLP（例如 ModelNet40 上的 4l-spec-max 相较于 4l-pointnet++）。
• 递归聚类池化相较于最大池化提供额外提升，改善了分类和分割结果。
• 所提出的 4l-spec-cp 模型在 ModelNet40、ShapeNet 与 ScanNet 数据集上实现了具竞争力或最先进的结果。
• 与此前方法相比，该方法在三维形状基准（McGill Shape Benchmark、ModelNet40）和大规模室内分割（ScanNet）上均有性能提升。
• 尽管局部图需要本征分解，但由于局部邻域的 k 值较小，训练时间仍与 PointNet++ 相当。