[论文解读] Latent-NeRF for Shape-Guided Generation of 3D Shapes and Textures

Gal Metzer, Elad Richardson+3 more|arXiv (Cornell University)|Nov 14, 2022

Computer Graphics and Visualization Techniques被引用 9

一句话总结

本文提出Latent-NeRF，一种通过将潜在扩散模型（LDMs）适配至NeRF的潜在空间，实现在潜在空间中直接运行，从而避免每一步都进行RGB到潜在空间的编码，实现文本和形状引导的3D生成。该方法通过Sketch-Shape引导和Latent-Paint实现纹理生成，展示了在高效潜在空间优化下，高保真度、可控制的3D形状与纹理合成能力。

ABSTRACT

Text-guided image generation has progressed rapidly in recent years, inspiring major breakthroughs in text-guided shape generation. Recently, it has been shown that using score distillation, one can successfully text-guide a NeRF model to generate a 3D object. We adapt the score distillation to the publicly available, and computationally efficient, Latent Diffusion Models, which apply the entire diffusion process in a compact latent space of a pretrained autoencoder. As NeRFs operate in image space, a naive solution for guiding them with latent score distillation would require encoding to the latent space at each guidance step. Instead, we propose to bring the NeRF to the latent space, resulting in a Latent-NeRF. Analyzing our Latent-NeRF, we show that while Text-to-3D models can generate impressive results, they are inherently unconstrained and may lack the ability to guide or enforce a specific 3D structure. To assist and direct the 3D generation, we propose to guide our Latent-NeRF using a Sketch-Shape: an abstract geometry that defines the coarse structure of the desired object. Then, we present means to integrate such a constraint directly into a Latent-NeRF. This unique combination of text and shape guidance allows for increased control over the generation process. We also show that latent score distillation can be successfully applied directly on 3D meshes. This allows for generating high-quality textures on a given geometry. Our experiments validate the power of our different forms of guidance and the efficiency of using latent rendering. Implementation is available at https://github.com/eladrich/latent-nerf

研究动机与目标

• 为解决文本引导3D生成中缺乏结构控制的问题，该问题常导致生成几何形状无约束或不一致。
• 通过将评分蒸馏适配至NeRF的潜在扩散模型（LDMs），实现高效、高质量的3D形状与纹理生成。
• 提出Sketch-Shape引导，允许用户通过粗略3D形状作为结构先验，实现更可控的生成。
• 通过在潜在空间中表示纹理图并直接反向传播扩散模型梯度至纹理图，实现在显式3D网格上的Latent-Paint纹理生成。
• 证明潜在空间渲染与引导在质量与效率上可超越像素空间基线方法。

提出的方法

• 提出Latent-NeRF，一种在预训练自编码器潜在空间中直接训练与优化的NeRF模型，避免每步进行RGB到潜在空间的编码。
• 将2D LDM中的评分蒸馏方法适配至潜在空间中的NeRF优化，实现高效且高质量的文本到3D生成。
• 通过在优化过程中施加软占据约束，引入Sketch-Shape引导，利用粗略3D形状作为结构先验。
• 通过在潜在空间中表示纹理图，并利用渲染后的网格直接反向传播扩散模型梯度，实现Latent-Paint。
• 通过可学习的线性层（初始化为近似潜在空间到RGB映射）支持将训练好的Latent-NeRF转换回RGB NeRF。
• 在需要时使用XAtlas实现自动UV参数化，并支持UV映射与逐面潜在纹理优化。

实验结果

研究问题

• RQ1 能否有效将2D潜在扩散模型的评分蒸馏方法适配至潜在空间中的NeRF基3D生成？
• RQ2 Sketch-Shape引导在文本到3D生成中如何提升结构一致性和可控性？
• RQ3 潜在空间纹理生成（Latent-Paint）能否通过扩散模型引导，在显式3D网格上生成高质量、高细节的纹理？
• RQ4 与像素空间优化相比，潜在空间操作是否在效率与质量上显著提升？
• RQ5 文本与形状引导的结合在多大程度上能生成更连贯且语义一致的3D形状？

主要发现

• Latent-NeRF通过避免重复的潜在空间编码，实现了高效、高质量的3D生成，在降低计算成本的同时保持性能。
• Sketch-Shape引导使用户能够定义粗略几何形状，通过调节软约束强度（σS）可实现从严格遵循到自由形态演化的控制。
• 当σS = 0.05时，生成形状与Sketch-Shape条件高度匹配；当σS增至1.5时，几何偏差显著增加，表明具有可调的灵活性。
• Latent-Paint在复杂形状（无论有无UV映射）上生成的纹理比Tango和CLIPMesh等先前方法更精确、更细节丰富。
• 该方法在多种提示词和输入几何形状下，成功生成多样化、高保真度的3D形状与纹理，包括带有豹纹的复杂鱼形网格。
• 该方法支持从Latent-NeRF转换为RGB NeRF，从而可进一步通过阴影或额外RGB扩散引导进行优化。