[论文解读] Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis

Tianchang Shen, Jun Gao+3 more|arXiv (Cornell University)|Nov 8, 2021

3D Shape Modeling and Analysis参考文献 66被引用 105

一句话总结

DMTet 是一个深度三维条件生成器，使用可变形四面体网格和可微分的 Marching Tetrahedra 层，将粗略体素放大为高分辨率网格，能够实现拓扑变换并比现有的隐式或显式方法获得更丰富的细节。

ABSTRACT

We introduce DMTet, a deep 3D conditional generative model that can synthesize high-resolution 3D shapes using simple user guides such as coarse voxels. It marries the merits of implicit and explicit 3D representations by leveraging a novel hybrid 3D representation. Compared to the current implicit approaches, which are trained to regress the signed distance values, DMTet directly optimizes for the reconstructed surface, which enables us to synthesize finer geometric details with fewer artifacts. Unlike deep 3D generative models that directly generate explicit representations such as meshes, our model can synthesize shapes with arbitrary topology. The core of DMTet includes a deformable tetrahedral grid that encodes a discretized signed distance function and a differentiable marching tetrahedra layer that converts the implicit signed distance representation to the explicit surface mesh representation. This combination allows joint optimization of the surface geometry and topology as well as generation of the hierarchy of subdivisions using reconstruction and adversarial losses defined explicitly on the surface mesh. Our approach significantly outperforms existing work on conditional shape synthesis from coarse voxel inputs, trained on a dataset of complex 3D animal shapes. Project page: https://nv-tlabs.github.io/DMTet/.

研究动机与目标

• 通过将粗糙体素形状（如Minecraft）放大为详细的三维资产，推动高质量三维内容创建的民主化。
• 引入一种支持任意拓扑和高分辨率的混合隐式-显式三维表示。
• 实现端到端训练，采用面片聚焦的监督以改进几何细节与真实感。

提出的方法

• 用在可变形四面体网格上定义的符号距离场来表征形状。
• 使用可微分的 Marching Tetrahedra 层将隐式 SDF 转换为显式表面网格。
• 通过在预测表面周围进行体积细分来生长和自适应四面体网格，以支持高分辨率。
• 在面片参数化网格上通过可学习的类似 Loop 的细分对表面进行细化。
• 采用表面对齐（Chamfer 和法向）损失、对抗损失，以及对 SDF 和形变的正则化的组合进行训练。
• 判别器对来自预测网格的 SDF 进行评估以判断真实感。

实验结果

研究问题

• RQ1 DMTet 是否能够从粗糙输入重建并合成具有任意拓扑的高分辨率三维形状？
• RQ2 在面片监督、可微分 MT 体系下的流程是否在几何细节和真实感方面优于纯隐式或显式方法？
• RQ3 体积和表面细分，以及可学习的表面细化如何影响重建质量和拓扑灵活性？
• RQ4 端到端训练的混合隐式-显式表面表示是否比现有高分辨式三维合成方法更高效、可扩展？

主要发现

• DMTet 在从粗糙体素到高分辨率动物形状的合成上，显著优于 ConvOnet 和 DECOR 基线，在多项指标上表现突出。
• 将对抗损失纳入后，真实感和细粒几何细节有所提升。
• 体积细分有助于捕捉细微结构（如飞机、灯具等）；表面细分降低了量化误差，得到更光滑的表面。
• DMTet 在推理时的性能与很多隐式方法基线相比具有竞争力/更快的速度。
• 消融研究表明对网格进行形变和联合 SDF+表面监督对获得高质量结果至关重要。