[论文解读] DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

Jingxiang Sun, Bo Zhang+5 more|arXiv (Cornell University)|Oct 25, 2023

Computer Graphics and Visualization Techniques被引用 24

一句话总结

DreamCraft3D 提出了一种分层的 3D 内容生成管线，它利用 3D 感知扩散先验和 引导式纹理精炼 将 2D 图像提示提升为连贯的 3D 几何和纹理。

ABSTRACT

We present DreamCraft3D, a hierarchical 3D content generation method that produces high-fidelity and coherent 3D objects. We tackle the problem by leveraging a 2D reference image to guide the stages of geometry sculpting and texture boosting. A central focus of this work is to address the consistency issue that existing works encounter. To sculpt geometries that render coherently, we perform score distillation sampling via a view-dependent diffusion model. This 3D prior, alongside several training strategies, prioritizes the geometry consistency but compromises the texture fidelity. We further propose Bootstrapped Score Distillation to specifically boost the texture. We train a personalized diffusion model, Dreambooth, on the augmented renderings of the scene, imbuing it with 3D knowledge of the scene being optimized. The score distillation from this 3D-aware diffusion prior provides view-consistent guidance for the scene. Notably, through an alternating optimization of the diffusion prior and 3D scene representation, we achieve mutually reinforcing improvements: the optimized 3D scene aids in training the scene-specific diffusion model, which offers increasingly view-consistent guidance for 3D optimization. The optimization is thus bootstrapped and leads to substantial texture boosting. With tailored 3D priors throughout the hierarchical generation, DreamCraft3D generates coherent 3D objects with photorealistic renderings, advancing the state-of-the-art in 3D content generation. Code available at https://github.com/deepseek-ai/DreamCraft3D.

研究动机与目标

• 通过利用高质量的 2D 扩散来提升语义丰度，从而推动稳健的 3D 资源生成。
• 在几何雕刻过程中通过 3D 感知先验实现全局一致的 3D 协调，并减少 Janus 问题。
• 通过为场景的多视图渲染定制的自举扩散先验来提升纹理真实感。
• 解耦几何与纹理，以实现从粗糙几何到高保真纹理的渐进式细化。

提出的方法

• 使用一个 2D 文本到图像模型从提示生成参考图像。
• 使用具备视角条件的、3D 感知扩散先验（Zero-1-to-3）进行几何雕刻，以强制实现多视图一致性。
• 将 SDS 与 3D-SDS 损失结合到混合目标中，以引导几何生成。
• 渐进式视图训练与扩散时间步退火以稳定全局结构。
• 从隐式曲面 (Neus) 转换到带纹理的网格 (DMTet)，以获取高频几何细节。
• 通过引导式分数蒸馏（BSD）进行纹理增强，该方法在增强的多视图渲染上微调 DreamBooth 扩散模型，使纹理与几何之间能够循环式相互提升。

实验结果

研究问题

• RQ1 如何使用 2D 参考图像来产生全局一致的 3D 几何和高质量纹理？
• RQ2 3D 感知扩散先验能否改善视图一致性并减少 3D 生成中的 Janus 问题？
• RQ3 通过多视图渲染对扩散先验进行自举能否在不牺牲几何的情况下提升纹理真实感？
• RQ4 在 3D 表征与扩散先验之间交替优化对最终渲染质量有何影响？

主要发现

模型	CLIP ↑	上下文相关性 ↓	PSNR ↑	LPIPS ↓
Make-it-3D	0.872	1.609	18.937	0.054
Magic123	0.843	1.628	22.838	0.053
DreamCraft3D	0.896	1.579	31.801	0.005

• DreamCraft3D 的几何更锐利、看起来更可信，纹理也更丰富，与若干 2D-to-3D 提升基线相比。
• 一个考虑视点的 3D 先验降低跨视图的全局不一致性，如 Janus 问题。
• 带有不断演化的 3D 感知先验的引导式分数蒸馏（BSD）在纹理一致性和细节方面优于固定目标蒸馏方法。
• 用户研究显示，在成对的提示和图像条件下，DreamCraft3D 相对于基线获得 92% 参与者的偏好。
• 定性评价和消融研究表明 3D 先验和迭代 BSD 循环在改善几何和纹理方面的重要性。