[论文解读] DreamFusion: Text-to-3D using 2D Diffusion

Ben Poole, Ajay Jain+2 more|arXiv (Cornell University)|Sep 29, 2022

Computer Graphics and Visualization Techniques被引用 460

一句话总结

DreamFusion 使用预训练的二维扩散模型作为先验，从文本中优化基于 NeRF 的三维场景，能够在没有三维训练数据的情况下获得可视化的三维对象。

ABSTRACT

Recent breakthroughs in text-to-image synthesis have been driven by diffusion models trained on billions of image-text pairs. Adapting this approach to 3D synthesis would require large-scale datasets of labeled 3D data and efficient architectures for denoising 3D data, neither of which currently exist. In this work, we circumvent these limitations by using a pretrained 2D text-to-image diffusion model to perform text-to-3D synthesis. We introduce a loss based on probability density distillation that enables the use of a 2D diffusion model as a prior for optimization of a parametric image generator. Using this loss in a DeepDream-like procedure, we optimize a randomly-initialized 3D model (a Neural Radiance Field, or NeRF) via gradient descent such that its 2D renderings from random angles achieve a low loss. The resulting 3D model of the given text can be viewed from any angle, relit by arbitrary illumination, or composited into any 3D environment. Our approach requires no 3D training data and no modifications to the image diffusion model, demonstrating the effectiveness of pretrained image diffusion models as priors.

研究动机与目标

• 证明一个预训练的二维文本到图像扩散模型可以作为三维合成的先验，在没有三维数据的情况下。
• 开发一个可微的图像参数化以及一个将三维渲染与扩散模型先验对齐的损失函数。
• 生成可从任意角度和光照观看的连贯三维对象和场景。
• 展示该方法对多样化提示的泛化能力，并与先前的零样本文本到3D 方法进行有利比较。

提出的方法

• 使用一个预训练的二维扩散模型（Imagen 基本 64x64）作为固定先验。
• 采用可微分的图像参数化形式，使用 NeRF（mip-NeRF 360）来表示三维几何和外观。
• 从随机摄像机位姿渲染 NeRF，并应用具有随机光源的视角相关着色模型。
• 通过分数蒸馏采样（SDS）计算梯度，使用扩散模型预测的噪声来引导 NeRF 优化，而不对扩散模型进行反向传播。
• 在 TPUv4 上用梯度下降对 NeRF 参数进行约 15,000 次迭代优化，使用较大的无条件引导权重（ω ≈ 100）。
• 附加视角相关的提示和随机照明以改善几何形状和渲染保真度。

实验结果

研究问题

• RQ1 冻结的二维文本到图像扩散模型是否可以作为零样本文本到三维合成的可行先验，而无需三维训练数据？
• RQ2 如何优化一个三维 NeRF，使其从多个随机视图产生与扩散模型先验对齐的一致渲染？
• RQ3 在扩散引导优化下，视图变化、照明和无纹理着色在提高三维几何质量方面起到什么作用？
• RQ4 DreamFusion 的性能与使用图像-文本先验的先前零样本三维方法相比如何？

主要发现

• DreamFusion 可以仅使用一个预训练的二维扩散模型作为先验，从自然语言提示生成连贯的三维 NeRF 场景。
• 分数蒸馏采样（SDS）提供了一种简单、可微的损失，使在 NeRF 参数空间中进行优化成为可能，而无需对扩散模型进行反向传播。
• 在迭代过程中进行随机化的摄像机和照明采样，从而产生视图一致的三维几何并实现重新照明和环境集成。
• 纹理缺失的着色和视图相关的提示显著提高几何保真度和与提示的 CLIP 相关性。
• 使用 CLIP R-Precision 的定量评估显示 DreamFusion 在颜色渲染上优于某些基线，并在某些提示上接近真实标题，同时在包含着色和纹理缺失几何时几何指标也显示出改进。