[论文解读] LaplacianNet: Learning on 3D Meshes with Laplacian Encoding and Pooling

Yi-Ling Qiao, Lin Gao+4 more|arXiv (Cornell University)|Oct 30, 2019

3D Shape Modeling and Analysis参考文献 42被引用 10

一句话总结

LaplacianNet 是一种用于 3D 网格处理的深度学习框架，利用拉普拉斯谱聚类实现多尺度网格池化，并通过相关性网络在聚类间聚合全局特征。该方法在 ShapeNet 和 COSEG 数据集上的形状分类与部件分割任务中实现了最先进性能，能够稳健地编码不同三角剖分和等距形变下的网格拓扑结构。

ABSTRACT

3D models are commonly used in computer vision and graphics. With the wider availability of mesh data, an efficient and intrinsic deep learning approach to processing 3D meshes is in great need. Unlike images, 3D meshes have irregular connectivity, requiring careful design to capture relations in the data. To utilize the topology information while staying robust under different triangulation, we propose to encode mesh connectivity using Laplacian spectral analysis, along with Mesh Pooling Blocks (MPBs) that can split the surface domain into local pooling patches and aggregate global information among them. We build a mesh hierarchy from fine to coarse using Laplacian spectral clustering, which is flexible under isometric transformation. Inside the MPBs there are pooling layers to collect local information and multi-layer perceptrons to compute vertex features with increasing complexity. To obtain the relationships among different clusters, we introduce a Correlation Net to compute a correlation matrix, which can aggregate the features globally by matrix multiplication with cluster features. Our network architecture is flexible enough to be used on meshes with different numbers of vertices. We conduct several experiments including shape segmentation and classification, and our LaplacianNet outperforms state-of-the-art algorithms for these tasks on ShapeNet and COSEG datasets.

研究动机与目标

• 开发一种能有效捕捉不规则 3D 网格中拓扑与几何结构的深度学习框架。
• 确保在不同网格三角剖分与等距形变下具备鲁棒性，解决网格学习中的常见挑战。
• 设计一种灵活的、分层的网格处理架构，无需模型间顶点数量一致。
• 通过整合谱分析与空间池化及全局特征相关性，实现网格上的端到端学习。
• 在标准基准测试中，于 3D 网格分类与部件分割任务上超越现有方法。

提出的方法

• 使用拉普拉斯谱聚类将网格表面划分为局部池化块，实现多尺度表示学习。
• 网格池化模块（MPBs）通过多层感知机处理顶点特征，并执行局部最大池化以聚合聚类内的特征。
• 相关性网络通过将聚类映射到共享向量空间并计算内积，学习聚类间的相关性矩阵。
• 相关性矩阵通过矩阵乘法实现全局特征融合，使网络能够建模网格中远距离依赖关系。
• 使用交叉熵损失进行端到端训练，用于分类与分割任务，输入特征源自原始网格几何结构。
• 在训练前对网格进行预处理，以确保其为封闭且流形的拓扑结构，并通过最近邻匹配将部件标签从点云转移至网格。

实验结果

研究问题

• RQ1 基于网格拉普拉斯特征的谱聚类能否在不同三角剖分下实现稳健且与等距变换无关的网格池化？
• RQ2 在顶点与聚类顺序任意的非欧几里得网格数据中，如何有效捕捉全局上下文信息？
• RQ3 网格聚类间的可学习相关性机制能否在网格学习中超越标准池化或注意力机制？
• RQ4 统一的网格网络架构在分类与分割等多样化 3D 网格任务中，能在多大程度上实现最先进性能？
• RQ5 所提出方法如何应对网格预处理带来的挑战，如标签转移错误与拓扑简化？

主要发现

• 在 ModelNet10 和 ModelNet40 数据集上，LaplacianNet 在 3D 形状分类任务中达到最先进性能，超越所有单模型最先进方法。
• 在 COSEG 数据集上，LaplacianNet 的部件分割准确率优于现有基于网格的深度学习方法。
• 由于采用拉普拉斯谱聚类，网络对等距形变与不同网格三角剖分表现出鲁棒性。
• ShapeNet 中的失败案例主要归因于原始点云标注中的噪声、预处理阶段的错误标签转移，以及摩托车等复杂形状的训练数据不足。
• 相关性网络在无需固定聚类顺序的情况下实现了有效的全局特征聚合，在此场景下优于全连接层。
• 该方法在不同顶点数量的网格上泛化良好，证实其在处理非均匀网格拓扑结构方面的灵活性。