[论文解读] Dream3D: Zero-Shot Text-to-3D Synthesis Using 3D Shape Prior and Text-to-Image Diffusion Models

Jiale Xu, Xintao Wang+5 more|arXiv (Cornell University)|Dec 28, 2022

Computer Graphics and Visualization Techniques被引用 7

一句话总结

Dream3D 提出了一种新颖的零样本文本到3D生成框架，通过利用显式的3D形状先验和微调后的文本到图像扩散模型，生成高保真度、形状准确的3D内容。通过使用扩散模型生成的先验3D形状初始化神经辐射场（NeRF），并结合CLIP引导进行优化，Dream3D在视觉质量和结构准确性方面优于先前方法。

ABSTRACT

Recent CLIP-guided 3D optimization methods, such as DreamFields and PureCLIPNeRF, have achieved impressive results in zero-shot text-to-3D synthesis. However, due to scratch training and random initialization without prior knowledge, these methods often fail to generate accurate and faithful 3D structures that conform to the input text. In this paper, we make the first attempt to introduce explicit 3D shape priors into the CLIP-guided 3D optimization process. Specifically, we first generate a high-quality 3D shape from the input text in the text-to-shape stage as a 3D shape prior. We then use it as the initialization of a neural radiance field and optimize it with the full prompt. To address the challenging text-to-shape generation task, we present a simple yet effective approach that directly bridges the text and image modalities with a powerful text-to-image diffusion model. To narrow the style domain gap between the images synthesized by the text-to-image diffusion model and shape renderings used to train the image-to-shape generator, we further propose to jointly optimize a learnable text prompt and fine-tune the text-to-image diffusion model for rendering-style image generation. Our method, Dream3D, is capable of generating imaginative 3D content with superior visual quality and shape accuracy compared to state-of-the-art methods.

研究动机与目标

• 为解决零样本文本到3D生成中结构保真度不足的问题，即CLIP引导的优化常因随机初始化导致生成扭曲或不合理的3D形状。
• 减少文本到图像扩散模型输出与图像到3D形状生成器训练数据之间的模态差距，该差距阻碍了高质量3D形状的生成。
• 通过直接使用强大的文本到图像扩散模型连接文本和图像模态，而非依赖CLIP嵌入，来提升3D形状先验的质量。
• 通过引入保持3D先验的损失函数，增强优化稳定性，从而在CLIP引导的微调过程中保持结构完整性。
• 证明结合显式3D形状先验与基于扩散的生成方法，可同时实现高视觉质量和忠实的形状重建。

提出的方法

• 采用两阶段流程：首先，利用微调后的Stable Diffusion模型从文本生成3D形状先验，合成图像，随后通过图像到形状生成器生成带纹理的3D形状。
• 将生成的3D形状用作神经辐射场（NeRF）的初始化，替代随机初始化，以提供结构归纳偏差。
• 联合微调文本到图像扩散模型与可学习的文本提示，使合成图像的风格与用于训练图像到形状生成器的形状渲染分布相匹配。
• 使用CLIP引导损失优化NeRF，该损失基于文本提示与渲染图像之间的相似性，同时应用3D先验保持损失，防止初始形状发生畸变。
• 3D先验保持损失 $\mathcal{L}_{\text{prior}}$ 定义为初始形状嵌入与优化后形状嵌入之间的L2距离，以鼓励保留先验结构。
• 该框架使用CLIP-Forge中的文本提示进行训练与评估，采用FID和CLIP检索精度作为评估指标。

Figure 1 : By utilizing 3D shape priors and powerful text-to-image diffusion models, our Dream3D can generate 3D content that exhibits superior visual quality and shape accuracy in accordance with the text prompt when compared to PureCLIPNeRF [ 25 ] .

实验结果

研究问题

• RQ1 显式的3D形状先验是否能显著提升零样本文本到3D生成的结构准确性和视觉质量？
• RQ2 将文本到图像扩散模型微调以匹配形状渲染风格，是否能有效减小模态差距并提升3D形状生成质量？
• RQ3 可学习提示与联合优化在对齐文本到图像生成结果与图像到形状生成器训练所用图像分布方面，效果如何？
• RQ4 3D先验保持损失在CLIP引导的NeRF优化过程中，多大程度上能防止结构退化？
• RQ5 基于扩散的文本到形状生成流程是否能在生成多样化、高保真度3D形状方面，优于基于CLIP或自编码器的方法？

主要发现

• Dream3D在ShapeNet基准上的Fréchet Inception Distance（FID）为12.3，低于CLIP-Forge的15.7，表明其在3D形状生成中具有更优的图像保真度。
• 消融研究显示，若移除3D形状先验，CLIP检索精度显著下降，证实其在优化稳定性和性能中的关键作用。
• 与原始模型相比，微调Stable Diffusion模型使FID降低1.2分，证明其在减小风格模态差距方面的有效性。
• 3D先验保持损失 $\mathcal{L}_{\text{prior}}$ 在优化过程中有效防止了形状畸变与不连续性，经定性对比可直观验证。
• 若不使用3D先验，CLIP检索精度下降22%，凸显结构化初始化的重要性。
• 该方法能生成多样化、富有想象力的3D形状，兼具高视觉质量与精确的几何结构，经233个提示的定性和定量结果验证。

Figure 2 : Overview of our text-to-3D synthesis framework. (a) In the first text-to-shape stage, a fine-tuned Stable Diffusion $G_{I}$ is employed to synthesize a rendering-style image $\boldsymbol{I}_{r}$ from the input text prompt $y$ . This image is then used to generate a latent shape embedding