[论文解读] MeshWalker: Deep Mesh Understanding by Random Walks

Alon Lahav, Ayellet Tal|arXiv (Cornell University)|Jun 9, 2020

3D Shape Modeling and Analysis参考文献 108被引用 7

一句话总结

MeshWalker 提出了一种新颖的深度学习框架，通过在三维三角网格表面进行随机游走来表示网格，将这些序列输入循环神经网络（RNN）以学习几何与拓扑结构。该方法在网格分类与语义分割任务中均达到最先进性能，即使在极小数据集下也表现优异，并且无需预处理即可处理非封闭或含多组件的网格。

ABSTRACT

Most attempts to represent 3D shapes for deep learning have focused on volumetric grids, multi-view images and point clouds. In this paper we look at the most popular representation of 3D shapes in computer graphics - a triangular mesh - and ask how it can be utilized within deep learning. The few attempts to answer this question propose to adapt convolutions & pooling to suit Convolutional Neural Networks (CNNs). This paper proposes a very different approach, termed MeshWalker, to learn the shape directly from a given mesh. The key idea is to represent the mesh by random walks along the surface, which "explore" the mesh's geometry and topology. Each walk is organized as a list of vertices, which in some manner imposes regularity on the mesh. The walk is fed into a Recurrent Neural Network (RNN) that "remembers" the history of the walk. We show that our approach achieves state-of-the-art results for two fundamental shape analysis tasks: shape classification and semantic segmentation. Furthermore, even a very small number of examples suffices for learning. This is highly important, since large datasets of meshes are difficult to acquire.

研究动机与目标

• 为解决直接将深度学习应用于不规则三维网格数据的挑战，这类数据对标准卷积神经网络（CNN）而言难以处理。
• 开发一种能够以序列形式捕捉局部几何与全局拓扑结构的网格表示方法，适用于循环神经网络（RNN）。
• 实现在小样本数据集上的有效学习，这类数据集在三维形状分析中普遍存在，因获取大规模网格数据集具有挑战性。
• 构建一个通用框架，适用于任意三角网格，包括非封闭或断开连接的组件。
• 在核心形状分析任务上验证该方法的有效性：分类与语义分割。

提出的方法

• 通过在网格顶点上进行随机游走表示网格，每条游走是一系列探索表面几何与拓扑的顶点序列。
• 每条随机游走由堆叠的门控循环单元（GRUs）处理，通过保持游走历史记忆来学习分层表示。
• RNN 输出经过池化后输入全连接层以实现分类或分割，通过反向传播进行端到端训练。
• 游走通过从随机顶点出发，并从其邻居中均匀随机选择下一个顶点生成，确保对网格表面的充分探索。
• 在语义分割任务中，从每个网格采样游走，模型通过在最终 RNN 输出上使用分割头预测每个顶点的标签。
• 在训练前对大网格应用网格简化以降低计算成本，并将结果投影回原始网格用于评估。

实验结果

研究问题

• RQ1 三维网格上的随机游走能否作为有效的基于序列的表示方法，使 RNN 能够学习形状结构？
• RQ2 MeshWalker 框架在三维网格分类与语义分割任务中是否达到最先进性能，尤其是在小样本数据集上？
• RQ3 该方法是否能泛化至非封闭或断开连接的网格，而无需施加拓扑约束？
• RQ4 在训练数据有限时，MeshWalker 的性能与基于 CNN 的网格方法相比如何？
• RQ5 由于序列长度的鲁棒性以及通过多条游走实现数据增强，使用 RNN 相较于 CNN 是否具有内在优势？

主要发现

• 在 SHREC11、COSEG 和 ModelNet40 数据集上，MeshWalker 在三维网格分类任务中达到最先进性能，即使在极小训练数据下也优于先前方法。
• 在人体分割数据集上，MeshWalker 实现了 0.81 的平均交并比（mIoU），超越了先前最先进方法。
• 在雕刻立方体数据集上，由于显著特征稀疏，MeshWalker 实现了 98.5% 的分类准确率，展现出对低信号形状的鲁棒性。
• 仅使用每类 4 个样本时，MeshWalker 在 ModelNet40 上达到 85.6% 的准确率，显著优于基线方法在低数据场景下的表现。
• 该方法在非封闭或含多组件的网格上表现出良好泛化能力，如 ModelNet40 数据集所展示，其中包含此类形状。
• 失败案例出现在训练数据中缺乏某些部件的充分示例时——例如，由于训练样本不足，头发常被误分类——凸显了对数据的依赖性。