[论文解读] MeshNet: Mesh Neural Network for 3D Shape Representation

Yutong Feng, Yifan Feng+3 more|arXiv (Cornell University)|Nov 28, 2018

3D Shape Modeling and Analysis参考文献 25被引用 6

一句话总结

MeshNet 是一种新颖的神经网络，通过将多边形面视为处理单元，并将特征分解为空间与结构两部分，直接从网格数据中学习 3D 形状表征。它使用面级别的卷积和池化模块来处理网格的复杂性与不规则性，在 ModelNet40 上实现了 3D 形状分类与检索的最先进性能，且对不同面数具有高度鲁棒性。

ABSTRACT

Mesh is an important and powerful type of data for 3D shapes and widely studied in the field of computer vision and computer graphics. Regarding the task of 3D shape representation, there have been extensive research efforts concentrating on how to represent 3D shapes well using volumetric grid, multi-view and point cloud. However, there is little effort on using mesh data in recent years, due to the complexity and irregularity of mesh data. In this paper, we propose a mesh neural network, named MeshNet, to learn 3D shape representation from mesh data. In this method, face-unit and feature splitting are introduced, and a general architecture with available and effective blocks are proposed. In this way, MeshNet is able to solve the complexity and irregularity problem of mesh and conduct 3D shape representation well. We have applied the proposed MeshNet method in the applications of 3D shape classification and retrieval. Experimental results and comparisons with the state-of-the-art methods demonstrate that the proposed MeshNet can achieve satisfying 3D shape classification and retrieval performance, which indicates the effectiveness of the proposed method on 3D shape representation.

研究动机与目标

• 为解决由于 3D 网格数据的复杂性与不规则性，导致缺乏用于 3D 形状表征的深度学习方法的问题。
• 设计一种能够有效处理不规则网格数据并保持计算效率的神经网络架构。
• 通过将面特征分解为空间与结构分量，学习鲁棒的 3D 形状表征，以改进对局部与全局几何结构的建模。
• 在 ModelNet40 等标准基准上评估该方法在 3D 形状分类与检索任务中的性能。
• 证明模型在不同面数的网格上，包括低面数模型，均具有鲁棒性。

提出的方法

• MeshNet 将多边形面作为基本处理单元，用面级别的操作替代基于顶点或边的操作，以应对不规则性。
• 它引入了基于面的处理机制，包含空间与结构特征描述符：空间特征捕捉局部面几何，结构特征则建模邻域关系。
• 网格卷积模块使用对称函数从邻近面聚合特征，以保持排列不变性。
• 将特征分解为空间与结构分量，使网络能够同时学习局部形状属性与网格表面的上下文关系。
• 架构中使用指定维度的多层感知机（MLPs）处理并优化每个模块的特征，随后通过全局平均池化实现分类。
• 网络采用对称函数（如最大池化）以确保对面对排列的不变性，并有效处理不规则的网格连接结构。

实验结果

研究问题

• RQ1 深度神经网络能否有效直接从不规则网格数据中学习 3D 形状表征？
• RQ2 所提出的基于面的处理与特征分解策略相较于传统网格描述符在性能上有哪些提升？
• RQ3 该模型在网格分辨率变化，特别是低面数模型上，其鲁棒性如何？
• RQ4 与基于点云、体素或多视角图像的最先进方法相比，MeshNet 在效率与准确率方面表现如何？
• RQ5 所学习的空间与结构特征是否能捕捉 3D 形状的有意义的几何与拓扑特性？

主要发现

• MeshNet 仅使用网格数据在 ModelNet40 上实现了 92.00% 的分类准确率，性能强劲，可与使用其他数据类型的最先进方法相媲美。
• 该模型在所有面数分组中均保持高准确率，在面数少于 50 的 9 个模型上实现了 100% 的准确率，证明其对低分辨率网格具有高度鲁棒性。
• MeshNet 的时间和空间复杂度与基于点的方法相当，参数量为 4.25M，每样本浮点运算量为 509M FLOPs，效率优于体素化方法。
• 特征可视化结果表明，空间特征捕捉了局部面形状的变化，而结构特征则编码了如表面类型（例如平面与陡峭表面）等上下文信息。
• 采用对称聚合的网格卷积模块能有效捕捉邻域信息，显著提升了对多样化 3D 形状的泛化能力。
• 该方法显著优于传统网格描述符（如 SPH 与球面谐函数），证明了在网格数据上应用深度学习的优势。