[论文解读] 3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models

Gimin Nam, Mariem Khlifi+4 more|arXiv (Cornell University)|Dec 1, 2022

3D Shape Modeling and Analysis被引用 16

一句话总结

3D-LDM 提出了一种潜在扩散模型，通过在预训练自编码器的潜在空间中操作，利用神经隐式表示（有符号距离函数）生成高质量的3D形状，从而实现多样化、连续的表面生成。该方法在无条件3D形状生成任务中达到最先进性能，并通过CLIP条件控制支持文本到3D和图像到3D生成，同时可通过噪声注入实现引导式形状探索。

ABSTRACT

Diffusion models have shown great promise for image generation, beating GANs in terms of generation diversity, with comparable image quality. However, their application to 3D shapes has been limited to point or voxel representations that can in practice not accurately represent a 3D surface. We propose a diffusion model for neural implicit representations of 3D shapes that operates in the latent space of an auto-decoder. This allows us to generate diverse and high quality 3D surfaces. We additionally show that we can condition our model on images or text to enable image-to-3D generation and text-to-3D generation using CLIP embeddings. Furthermore, adding noise to the latent codes of existing shapes allows us to explore shape variations.

研究动机与目标

• 为解决现有3D扩散模型依赖体素或点云表示所导致的表面不连续性及图形应用效率低下的问题。
• 通过神经隐式函数（SDF）实现高保真、多样化的3D形状生成，以表示连续表面。
• 通过在自编码器的潜在空间中操作，将扩散模型扩展至3D形状生成，提升训练稳定性和生成质量。
• 通过CLIP嵌入实现条件生成，支持文本到3D和图像到3D形状合成。
• 通过向现有形状的潜在码中注入可控噪声，实现引导式形状探索。

提出的方法

• 该方法采用两阶段训练流程：首先预训练基于DeepSDF的自编码器，将3D形状编码至潜在空间；随后在该潜在空间上训练潜在扩散模型。
• 潜在扩散模型通过反向扩散过程对潜在向量进行去噪，从各向同性高斯噪声开始，生成新的形状潜在码。
• 通过文本或图像的CLIP嵌入进行条件控制，引导形状生成，实现零样本文本到3D和图像到3D生成，无需微调。
• 对于引导式形状探索，模型在中间扩散步骤（t < T）向参考形状的潜在码中注入噪声，生成风格各异但结构相似的形状。
• 最终通过解码器从生成的潜在码重建3D形状，生成连续SDF，实现高质量表面提取。
• 该方法通过利用紧凑且解耦的潜在空间，避免在原始SDF空间上直接进行扩散，从而提升效率与泛化能力。

实验结果

研究问题

• RQ1 在神经隐式自编码器的潜在空间中运行的潜在扩散模型，能否生成多样化且高保真的连续表面3D形状？
• RQ2 该模型能否利用CLIP嵌入作为条件信号，实现零样本文本到3D和图像到3D生成？
• RQ3 向现有形状潜在码中注入可控噪声，能否实现有意义且局部化的形状变化，以支持设计探索？
• RQ4 与先前的GAN基模型和直接扩散模型相比，该潜在扩散方法在生成神经隐式3D形状方面是否表现更优？
• RQ5 该模型是否具备在训练分布之外的泛化能力，且不会出现过拟合，表现为形状多样性和新颖性？

主要发现

• 3D-LDM 在ShapeNet椅子数据集上的无条件3D形状生成任务中达到最先进性能，其生成样本的质量与多样性均优于先前的GAN基与扩散基方法。
• 该模型成功生成与文本提示相匹配的多样化3D形状，例如生成符合描述属性如“带轮子的椅子”或“类似床的椅子”的形状。
• 通过CLIP条件控制实现的图像到3D生成，生成的形状在视觉上与输入图像渲染结果高度一致，即使从新视角观察也保持一致，展现出强大的零样本对齐能力。
• 通过在中间扩散步骤注入噪声实现的引导式形状探索，能够在保持输入形状粗略结构的同时生成局部细节多样的变体，支持设计探索。
• 该模型对未见形状具有良好的泛化能力，表现为生成形状与其在训练集中最近邻样本之间无过拟合现象。
• 计算效率得以保持，尽管输出为高保真形状，单个形状的生成时间仍与现有基线方法相当。