Skip to main content
QUICK REVIEW

[论文解读] DreamTime: An Improved Optimization Strategy for Diffusion-Guided 3D Generation

Yukun Huang, Jianan Wang|arXiv (Cornell University)|Jun 21, 2023
Computer Graphics and Visualization TechniquesComputer Science被引用 20
一句话总结

论文提出 Time Prioritized SDS (TP-SDS) 将 NeRF 优化与扩散时间步对齐,在文本到3D 生成中提升质量与多样性。

ABSTRACT

Text-to-image diffusion models pre-trained on billions of image-text pairs have recently enabled 3D content creation by optimizing a randomly initialized differentiable 3D representation with score distillation. However, the optimization process suffers slow convergence and the resultant 3D models often exhibit two limitations: (a) quality concerns such as missing attributes and distorted shape and texture; (b) extremely low diversity comparing to text-guided image synthesis. In this paper, we show that the conflict between the 3D optimization process and uniform timestep sampling in score distillation is the main reason for these limitations. To resolve this conflict, we propose to prioritize timestep sampling with monotonically non-increasing functions, which aligns the 3D optimization process with the sampling process of diffusion model. Extensive experiments show that our simple redesign significantly improves 3D content creation with faster convergence, better quality and diversity.

研究动机与目标

  • 识别 SDS 的均匀时间步采样为何会限制 3D 生成的质量与多样性。
  • 分析扩散时间步在不同优化阶段对应的信息量。
  • 提出一个非递增、时间优先的采样策略(TP-SDS)以改进 NeRF 指引。
  • 在实验中证明 TP-SDS 能在保真度和多样性方面提升文本到3D 的输出。

提出的方法

  • 分析在扩散引导的 3D 生成中,SDS 监督与 DDPM 采样之间的错配。
  • 提出一个非递增时间步采样策略,在 NeRF 优化早期偏向较大 t、后期偏向较小 t。
  • 引入一个带有 3 阶段(粗略、内容、细节)的时间优先权重函数 w*(t),通过映射优化步 i 确定 t_i。
  • 使用基于预训练扩散模型的引导,实现带有实际算法(Algorithm 1)的 TP-SDS。
  • 在 Stable Diffusion 的潜在空间中对 NeRF(Instant-NGP)进行渲染,并应用视图相关的提示增强以实现 3D 一致性。
  • 对 SDS 梯度进行归一化,并使用固定学习率与稀疏性损失来稳定优化。

实验结果

研究问题

  • RQ1TP-SDS 在由预训练扩散模型引导的情况下,是否比常规 SDS 提供更高质量的 3D 物体?
  • RQ2时间优先、非递增的时间步采样是否提升多样性并缓解文本到3D 生成中的模式崩溃?
  • RQ3将 NeRF 优化与 DDPM 采样对齐如何影响梯度信息量及潜在的域外问题?
  • RQ4提出的 w*(t) 权重的作用及其对从粗到细生成过程的影响?

主要发现

  • TP-SDS 在文本到3D 生成中比标准 SDS 具有更高的质量和更大的多样性。
  • 非递增时间步采样将 NeRF 优化与 DDPM 去噪过程对齐,减少错配和无效监督。
  • 时间优先权重函数 w*(t) 使通过三个阶段(粗略、内容、细节)的受控、从粗到细的引导成为可能。
  • 梯度可视化与频率分析支持 TP-SDS 缓解 OOD 问题并减少在均匀 t 采样下观察到的模式崩溃。
  • 在 2D 与 3D 生成场景的实验中,TP-SDS 下的真实感和视点多样性均有所提升。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。