[论文解读] Fully Convolutional Mesh Autoencoder using Efficient Spatially Varying Kernels

Yi Zhou, Chenglei Wu+6 more|arXiv (Cornell University)|Jun 8, 2020

3D Shape Modeling and Analysis参考文献 29被引用 47

一句话总结

介绍一种非模板专用的、全卷积网格自编码器，具备空间可变核，来自全局权重基和局部系数学习，在包括四面体和非流形网格在内的多种网格类型上实现了最先进的重建。

ABSTRACT

Learning latent representations of registered meshes is useful for many 3D tasks. Techniques have recently shifted to neural mesh autoencoders. Although they demonstrate higher precision than traditional methods, they remain unable to capture fine-grained deformations. Furthermore, these methods can only be applied to a template-specific surface mesh, and is not applicable to more general meshes, like tetrahedrons and non-manifold meshes. While more general graph convolution methods can be employed, they lack performance in reconstruction precision and require higher memory usage. In this paper, we propose a non-template-specific fully convolutional mesh autoencoder for arbitrary registered mesh data. It is enabled by our novel convolution and (un)pooling operators learned with globally shared weights and locally varying coefficients which can efficiently capture the spatially varying contents presented by irregular mesh connections. Our model outperforms state-of-the-art methods on reconstruction accuracy. In addition, the latent codes of our network are fully localized thanks to the fully convolutional structure, and thus have much higher interpolation capability than many traditional 3D mesh generation models.

研究动机与目标

• 激励学习具有通用拓扑结构（包括非流形网格）的已对齐网格的潜在表示。
• 开发一种无模板的、完全卷积的自编码器，用于任意网格，而无需依赖 UV 映射或模板模板。
• 引入高效的局部可变卷积和池化运算符，能够处理不规则网格连通性，同时在全局范围内共享参数。

提出的方法

• 定义 vcConv 和 vcTransConv：卷积与转置卷积，其中权重落在共享基 B 中，并通过局部可变系数 (AV,i,j) 来对每个相邻点进行采样。
• 使用具有 M 个基的权重基 B；每个邻点权重 W_{i,j} = sum_k α_{i,j,k} B_k 以减少参数。
• 引入变体密度 ρ' 用于池化/反池化以适应不规则采样；ρ' 在邻域内归一化。
• 使用受蒙特卡洛启发的 vdPool 和 vdUnpool 进行特征聚合，具有可学习的密度 ρ。
• 使用由 vcConv/vcTransConv + vdDownRes/vdUpRes 构建的残差块来构建完全卷积自编码器，实现无全连接层的下采样/上采样。
• 通过在语义上有意义的位置放置潜在顶点（如头部、躯干、四肢）并插值它们的潜在编码来实现局部潜在特征插值。

实验结果

研究问题

• RQ1 无需模板、完全卷积的网格自编码器是否能够在任意网格拓扑上实现最先进的重建（包括四面体网格和非流形网格）？
• RQ2 具有全局权重基并局部学习系数的空间可变卷积核是否相对于现有的图卷积算子提供更优的重建质量和内存效率？
• RQ3 该模型能否支持对网格区域进行语义上有意义的局部潜在编码插值，以实现局部控制？
• RQ4 不同的池化/反池化策略和卷积核基大小对重建精度和内存使用有何影响？

主要发现

模型	训练（mm）误差	测试（mm）误差	参数量（百万）	训练内存（GiB）
Ours	3.73	5.01	1.9	1.1
Neural3DMM	3.29	4.73	2.0	1.2
3DMM	3.73	5.01	1.9	2471Mib
MeshCNN	4.57	5.63	1.4	4183Mib
0. 比较整模型	13.25	14.29	1.4	4183Mib

• 提出的 vcConv/vcTransConv，具有全局权重基和局部变异系数，在 D-FAUST 上实现了最先进的重建，并且泛化到四面体和非流形网格。
• 该模型支持下采样/上采样和转置卷积，使得能够在没有静态模板的情况下实现端到端的完全卷积自编码器。
• vdPool 和 vdUnpool 带有学习型变体密度，提升了在不规则网格上的池化稳定性，优于简单的最大/平均池化。
• 可以通过在语义上有意义的位置放置潜在顶点（头部、四肢、躯干）来实现局部潜在插值，从而进行定向的姿态/表面编辑。
• 在 D-FAUST 上，该模型在可比瓶颈大小下的训练误差和测试误差均低于 Neural3DMM 和 MeshCNN；对比表显示提出方法的指标更有利。
• 该方法使用的参数显著少于天真局部连接层，同时保持或提高精度；LCConv 虽然参数多，在此设置下表现更差。