[论文解读] Mesh Variational Autoencoders with Edge Contraction Pooling

Yujie Yuan, Yu‐Kun Lai+3 more|arXiv (Cornell University)|Aug 7, 2019

3D Shape Modeling and Analysis参考文献 39被引用 4

一句话总结

本文提出一种基于改进网格简化算法的新型边收缩池化操作的网格变分自编码器，实现了在保持连接一致性的3D网格上有效的分层特征学习。该方法在参数减少的同时保留几何细节，实现了优越的泛化能力，可处理高分辨率模型，在形状生成、插值和嵌入方面优于先前工作。

ABSTRACT

3D shape analysis is an important research topic in computer vision and graphics. While existing methods have generalized image-based deep learning to meshes using graph-based convolutions, the lack of an effective pooling operation restricts the learning capability of their networks. In this paper, we propose a novel pooling operation for mesh datasets with the same connectivity but different geometry, by building a mesh hierarchy using mesh simplification. For this purpose, we develop a modified mesh simplification method to avoid generating highly irregularly sized triangles. Our pooling operation effectively encodes the correspondence between coarser and finer meshes in the hierarchy. We then present a variational auto-encoder structure with the edge contraction pooling and graph-based convolutions, to explore probability latent spaces of 3D surfaces. Our network requires far fewer parameters than the original mesh VAE and thus can handle denser models thanks to our new pooling operation and convolutional kernels. Our evaluation also shows that our method has better generalization ability and is more reliable in various applications, including shape generation, shape interpolation and shape embedding.

研究动机与目标

• 为解决基于网格的深度学习中缺乏有效池化操作的问题，该问题限制了感受野的增长和模型泛化能力。
• 实现在具有连接一致性、高分辨率3D网格上的高效、参数高效的特征学习。
• 开发一种池化机制，以在粗细网格层级之间保持显式对应关系，支持端到端训练。
• 通过集成图卷积和改进的网格简化流程，提升网格变分自编码器的性能。
• 与现有方法相比，展示在形状生成、插值和低维嵌入方面更优的能力。

提出的方法

• 提出一种改进的网格简化算法，通过优先考虑几何和拓扑约束来避免生成高度不规则的三角形。
• 引入一种边收缩池化操作，显式保持网格层次中连续层级之间的顶点对应关系。
• 采用变分自编码器架构，结合图卷积层，用于基于顶点的形变表示的特征学习。
• 使用每顶点的特征表示（形变梯度）作为输入，而非原始3D坐标，以实现在连接关系一致的网格上的一致处理。
• 设计一种去池化操作，利用存储的对应关系图，从潜在码重建更高分辨率的网格。
• 应用图卷积以捕捉局部几何模式，同时通过网格层次结构实现分层特征抽象。

实验结果

研究问题

• RQ1 基于网格简化构建的池化操作是否能有效编码粗细网格层级之间的对应关系，以支持深度学习？
• RQ2 与全连接层相比，边收缩池化在网格VAE中如何提升泛化能力和参数效率？
• RQ3 所提方法在处理先前网格VAE难以处理的高分辨率网格方面，其能力边界在多大程度上得到扩展？
• RQ4 与最先进方法相比，该方法在形状插值和潜在空间嵌入方面的表现如何？
• RQ5 该框架能否在多种3D形状形变中保持几何保真度和结构一致性？

主要发现

• 所提方法在泛化能力和重建质量方面优于原始MeshVAE，后者依赖全连接层且在处理高分辨率模型时存在困难。
• 得益于高效的池化和卷积操作，网络可处理密集网格（如42,321个顶点），而这些网格对MeshVAE而言因内存限制而不可行。
• 插值结果表明，运动序列更平滑、更自然，无伪影或冗余运动，优于MeshVAE和一种数据驱动方法[8]。
• 即使在复杂或非人形物体之间，该方法仍能生成高质量、细节丰富的形状和插值结果，如图12和图13所示。
• 潜在空间可视化显示，该方法成功捕捉了内在的循环运动模式，在2D嵌入中形成连贯的圆形结构，而t-SNE和PCA则未能实现。
• 该框架在形状嵌入方面表现出鲁棒性，能将相似形状和姿态分组，同时保持结构和形变关系。