[论文解读] Mesh-based Autoencoders for Localized Deformation Component Analysis

Qingyang Tan, Lin Gao+3 more|arXiv (Cornell University)|Sep 13, 2017

3D Shape Modeling and Analysis参考文献 42被引用 4

一句话总结

该论文提出了一种基于网格的CNN自编码器，并引入稀疏正则化，以从具有不规则拓扑、大尺度形变和噪声的3D网格数据集中提取可解释的、局部化的形变分量。通过在潜在空间中结合网格卷积与稀疏性约束，该方法实现了鲁棒的非线性重建，在多个基准数据集的定性和定量评估中均优于当前最先进方法。

ABSTRACT

Spatially localized deformation components are very useful for shape analysis and synthesis in 3D geometry processing. Several methods have recently been developed, with an aim to extract intuitive and interpretable deformation components. However, these techniques suffer from fundamental limitations especially for meshes with noise or large-scale deformations, and may not always be able to identify important deformation components. In this paper we propose a novel mesh-based autoencoder architecture that is able to cope with meshes with irregular topology. We introduce sparse regularization in this framework, which along with convolutional operations, helps localize deformations. Our framework is capable of extracting localized deformation components from mesh data sets with large-scale deformations and is robust to noise. It also provides a nonlinear approach to reconstruction of meshes using the extracted basis, which is more effective than the current linear combination approach. Extensive experiments show that our method outperforms state-of-the-art methods in both qualitative and quantitative evaluations.

研究动机与目标

• 解决现有方法在从具有不规则拓扑、噪声和大尺度形变的3D网格中提取局部化、可解释形变分量方面的局限性。
• 开发一种深度学习框架，使其在未见网格数据上具有良好泛化能力，并通过局部化分量实现直观的形状合成。
• 克服主成分分析（PCA）的全局特性，以及先前稀疏形变方法对噪声和大角度旋转的敏感性。
• 为高保真度网格重建提供一种非线性、数据驱动的替代方案，以替代线性形变基的组合。

提出的方法

• 设计了一种基于CNN的自编码器架构，通过在1-ring邻域上对顶点进行卷积操作，处理具有任意连通性的3D网格。
• 在各层中应用网格卷积，以保持几何结构，并通过非线性表示支持大尺度形变。
• 在编码器的全连接层中引入稀疏正则化，以促进潜在空间中局部化、紧凑的形变分量。
• 自编码器结构确保所学习的分量可通过非线性映射有效用于重建高质量的网格形变。
• 框架采用两阶段损失：重建损失用于保证保真度，稀疏性损失用于实现局部化，超参数 $\lambda_1$ 和 $\lambda_2$ 用于平衡两者。
• 通过Voronoi采样选择控制点，以在未见数据上评估重建性能，并使用误差度量比较不同方法。

实验结果

研究问题

• RQ1 基于网格卷积与稀疏正则化的深度自编码器能否从具有不规则拓扑和大尺度形变的3D网格中提取出局部化、可解释的形变分量？
• RQ2 在抗噪能力和重建精度方面，所提方法与当前最先进方法相比表现如何？
• RQ3 所提取的形变分量能否有效组合以合成新颖且合理的3D形状？
• RQ4 自编码器的非线性重建能力是否在保留形状细节方面优于线性基组合？

主要发现

• 在SCAPE数据集上，该方法在默认超参数设置下实现了最低的重建误差，均方根误差（RMS）为13.556，优于所有基线方法。
• 在具有显著噪声的旗帜数据集上，该方法成功捕捉了大尺度的旗帜摆动，并分离出局部的波纹，而（ ? ）仅在角落处捕捉到噪声。
• 在形状合成任务中，该方法通过组合来自SCAPE、Swing和Jumping数据集的分量，生成了合理的新形状，仅出现轻微伪影（如收缩或不合理的放大）。
• 在Jumping和Swing数据集的头部摆动和手臂上举动作中，该方法正确识别了运动方向，而（ ? ）则产生错误或失真的结果。
• 该方法在不同超参数设置下保持一致的性能，在未见SCAPE数据上，当 $\lambda_1=0.6, \lambda_2=0.6$ 时误差最低，为13.6429。
• 视觉对比显示，所提取的分量在空间上具有局部性，且对应于有意义的解剖学运动（如抬腿或抬臂），证实了其可解释性。