[论文解读] GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

Jun Gao, Tianchang Shen+7 more|arXiv (Cornell University)|Sep 22, 2022

Computer Graphics and Visualization Techniques被引用 187

一句话总结

GET3D 直接从 2D 图像生成具有任意拓扑的显式带纹理的 3D 网格，使用可微分表面提取和渲染，在多类目中达到最先进的 3D 形状与纹理质量。

ABSTRACT

As several industries are moving towards modeling massive 3D virtual worlds, the need for content creation tools that can scale in terms of the quantity, quality, and diversity of 3D content is becoming evident. In our work, we aim to train performant 3D generative models that synthesize textured meshes which can be directly consumed by 3D rendering engines, thus immediately usable in downstream applications. Prior works on 3D generative modeling either lack geometric details, are limited in the mesh topology they can produce, typically do not support textures, or utilize neural renderers in the synthesis process, which makes their use in common 3D software non-trivial. In this work, we introduce GET3D, a Generative model that directly generates Explicit Textured 3D meshes with complex topology, rich geometric details, and high-fidelity textures. We bridge recent success in the differentiable surface modeling, differentiable rendering as well as 2D Generative Adversarial Networks to train our model from 2D image collections. GET3D is able to generate high-quality 3D textured meshes, ranging from cars, chairs, animals, motorbikes and human characters to buildings, achieving significant improvements over previous methods.

研究动机与目标

• 通过使高质量、多样化的带纹理网格具有任意拓扑来推动各行业的可扩展 3D 内容创建。
• 使监督来自 2D 图像数据，而非需要明确的 3D 形状。
• 产出可直接在标准 3D 图形引擎（如 Blender、Maya）中使用。
• 在多个对象类别中实现几何和纹理的最先进质量。

提出的方法

• 两分支生成器：几何分支通过 DMTet 和 marching tetrahedra 输出一个具有任意拓扑的可微分显式表面（网格）。
• 纹理分支使用几何和纹理潜在量条件化的 tri-plane 表示来输出纹理场。
• 通过高分辨率光栅化器的可微分渲染，生成 RGB 图像和轮廓线以用于 2D 对抗监督。
• 使用两个判别器（RGB 和轮廓）进行对抗训练，将梯度传播到几何和纹理分支。
• 对相邻 SDF 值进行跨熵正则化，抑制不可见的内部面并改善网格质量。
• 训练采用 2D 图像监督并配合可微分渲染器，以实现高分辨率（高达 1024×1024）的纹理。

实验结果

研究问题

• RQ1 一个模型是否可以直接从 2D 图像生成带纹理的任意拓扑网格，而不依赖固定模板？
• RQ2 在用 2D 判别器进行训练时，可微分表面提取结合可微分渲染是否能带来高保真几何和纹理？
• RQ3 与 3D 监督和 3D 感知基线相比，GET3D 在具有复杂几何和纹理的多样类别上的表现如何？
• RQ4 该方法是否能够扩展到材料生成、重新照明和文本引导的 3D 合成等下游任务？

主要发现

• GET3D 在包括汽车、椅子、摩托车、人体和建筑在内的多类别上生成具有丰富几何和纹理细节的高质量带纹理网格。
• 由于基于 DMTet 的表面提取，模型支持任意拓扑和属群（genus）。
• 通过可微分渲染与两个专门的判别器进行训练，相较于若干基线提高了 3D 形状和纹理的保真度。
• 与 3D 监督方法相比，GET3D 实现了更好的多样性和几何细节。
• GET3D 支持下游应用，如用于视图相关照明的材料生成以及使用 CLIP 的文本引导 3D 合成。