[论文解读] Deep Mesh Prior: Unsupervised Mesh Restoration using Graph Convolutional Networks

Shota Hattori, Tatsuya Yatagawa+2 more|arXiv (Cornell University)|Jul 2, 2021

3D Shape Modeling and Analysis参考文献 53被引用 7

一句话总结

本文提出深度网格先验（DMP），一种基于图卷积网络（GCNs）的无监督网格修复方法，可直接从单个输入网格中学习自相似性，无需预训练或大规模数据集。通过训练GCN从平滑输入网格预测顶点位移，DMP在去噪和补全任务中达到最先进性能，优于依赖大规模训练数据的方法。

ABSTRACT

This paper addresses mesh restoration problems, i.e., denoising and completion, by learning self-similarity in an unsupervised manner. For this purpose, the proposed method, which we refer to as Deep Mesh Prior, uses a graph convolutional network on meshes to learn the self-similarity. The network takes a single incomplete mesh as input data and directly outputs the reconstructed mesh without being trained using large-scale datasets. Our method does not use any intermediate representations such as an implicit field because the whole process works on a mesh. We demonstrate that our unsupervised method performs equally well or even better than the state-of-the-art methods using large-scale datasets.

研究动机与目标

• 解决网格修复（去噪与补全）问题，而无需依赖大规模标注数据集。
• 克服现有深度学习方法依赖大规模形状数据集进行预训练的局限，从而提升对未见形状的泛化能力。
• 提出一种无监督框架，通过权重共享的GCN直接从单个输入网格中获取形状先验。
• 通过避免使用隐式场或体素网格等中间表示，保持网格结构在整个过程中的完整性。
• 证明通过GCN从单个网格学习的自相似性可达到甚至超越使用大规模数据集训练的监督方法的性能。

提出的方法

• 提出一种基于深度图像先验（DIP）的新颖无监督网格修复框架，通过图卷积网络（GCNs）适配三角网格。
• 训练GCN预测顶点位移向量，而非绝对顶点位置，以提升收敛速度与重建质量。
• 对输入网格应用拉普拉斯平滑以生成基础形状，GCN由此学习差异（位移）以重建原始干净或完整网格。
• 使用单个神经网络，通过层间权重共享，捕捉网格表面的全局自相似性及多分辨率特征。
• 仅使用预测网格与真实值之间的重建损失（MAD）进行网络优化，避免引入如拉普拉斯损失等额外正则化。
• 确保端到端的网格到网格处理：输入与输出均为网格，无需点云或隐式场等中间表示。

实验结果

研究问题

• RQ1 能否在无需大规模数据集的情况下，通过无监督深度学习有效学习单个网格中的自相似性？
• RQ2 在基于GCN的框架中，预测顶点位移而非绝对位置是否能带来更好的网格修复性能？
• RQ3 初始网格平滑方式的选择（如拉普拉斯平滑、球面映射或无平滑）如何影响收敛速度与最终重建质量？
• RQ4 无监督的基于GCN的方法能否实现与依赖大规模训练数据的监督最先进方法相当或更优的性能？
• RQ5 所提出的网格到网格、端到端框架是否适用于去噪与补全等通用网格修复任务？

主要发现

• 所提方法——深度网格先验（DMP）——在重建性能上达到或优于依赖大规模训练数据集的最先进监督方法。
• 与预测绝对位置相比，预测顶点位移可显著降低MAD分数，尤其在训练后期，表明对结构化几何的学习更优。
• 对输入网格进行拉普拉斯平滑在收敛速度与重建精度之间取得最佳平衡，优于未经处理的输入与球面映射。
• 当输入网格未经过平滑处理时，GCN会迅速学习输出零位移，导致MAD分数几乎与噪声输入相同，证实平滑对有效学习至关重要。
• 对于Bimba模型，MAD分数从4,000步时的6.91降至10,000步时的5.82，表明在正确平滑下收敛虽慢但更精确。
• 该方法仅依赖单个输入网格即可成功恢复去噪与补全后的网格，无需预训练或外部形状先验。