[论文解读] 3DGen: Triplane Latent Diffusion for Textured Mesh Generation

Anchit Gupta, Wenhan Xiong+3 more|arXiv (Cornell University)|Mar 9, 2023

3D Shape Modeling and Analysis被引用 33

一句话总结

3DGen 引入一个两阶段管线，使用三平面 VAE 和扩散模型，在跨类别生成高质量带纹理的网格，实现图像、文本和无条件生成，具备强大可扩展性。

ABSTRACT

Latent diffusion models for image generation have crossed a quality threshold which enabled them to achieve mass adoption. Recently, a series of works have made advancements towards replicating this success in the 3D domain, introducing techniques such as point cloud VAE, triplane representation, neural implicit surfaces and differentiable rendering based training. We take another step along this direction, combining these developments in a two-step pipeline consisting of 1) a triplane VAE which can learn latent representations of textured meshes and 2) a conditional diffusion model which generates the triplane features. For the first time this architecture allows conditional and unconditional generation of high quality textured or untextured 3D meshes across multiple diverse categories in a few seconds on a single GPU. It outperforms previous work substantially on image-conditioned and unconditional generation on mesh quality as well as texture generation. Furthermore, we demonstrate the scalability of our model to large datasets for increased quality and diversity. We will release our code and trained models.

研究动机与目标

• 推动可扩展、高质量的三维纹理网格生成，超越单一类别模型。
• 开发一个两阶段架构，学习纹理网格的紧凑三平面潜在表示，并通过扩散生成它们。
• 实现纹理有/无网格生成，基于图像或文本的条件，同时具备高效的 GPU 支持推理。

提出的方法

• 训练一个三平面 VAE，将有颜色的点云编码为与 3D 相关的三平面潜在特征，并通过可微分的 marching tetrahedra 解码为带纹理的网格。
• 训练在展开的三平面上运行的扩散模型，以生成基于图像-文本嵌入的条件三平面特征，或无条件。
• 使用基于渲染的损失，结合可微渲染器和 DMTet 来训练 VAE，以及 KL、平滑与重建项。
• 通过冻结的图像-文本双编码器对扩散进行图像嵌入条件化，使用 AdaGN 条件，而不需要交叉注意力，从而实现可扩展的文本条件生成。
• 在后期阶段使用更高分辨率的四面体网格对扩散进行微调，以改善细节和着色。

实验结果

研究问题

• RQ1 一个结合三平面 VAE 和扩散模型的两阶段框架，是否能在跨越多样类别的条件与无条件纹理网格方面学习到高质量？
• RQ2 相比无条件生成，对扩散进行图像或文本嵌入条件化是否能提升几何与纹理保真度？
• RQ3 数据规模（例如在大型 Objaverse 风格数据集上的预训练）如何影响几何精度和纹理质量？
• RQ4 哪些架构选择（条件化方法、VAE 分辨率、表面纹理建模）对网格质量和纹理保真度影响最大？

主要发现

• 3DGen 在多种设置下比先前工作有显著提升：无条件几何生成在 FiD 上比 NFD 提升 23%，无条件带颜色网格生成提升高达 70%，文本条件几何生成相对于 SoTA 3DILG 提升 15-20%。
• 两阶段三平面方法使在单个 GPU 上几秒内实现跨类别的条件和无条件纹理网格（有纹理或无纹理）生成。
• 在大型数据集（Objaverse + 3D Warehouse）上的预训练提升 Chamfer 距离和 FiD 分数，对资源较少的类别收益更明显。
• 使用文本嵌入的文本条件生成表现出与提示对齐的良好对象生成，展示该方法在简单基于提示的条件化下的灵活性。