[论文解读] HiFA: High-fidelity Text-to-3D Generation with Advanced Diffusion Guidance

Junzhe Zhu, Peiye Zhuang+1 more|arXiv (Cornell University)|May 30, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

HiFA 提出了一种基于先进扩散引导的单阶段文本到3D生成方法，实现了高保真、视角一致的3D资产生成。通过在潜在空间和图像空间中蒸馏文生图扩散模型的去噪分数，采用平方根时间步长退火策略，并引入z-方差损失与核平滑技术以优化NeRF，HiFA在无需两阶段优化的情况下，生成了逼真且几何清晰的3D输出。

ABSTRACT

The advancements in automatic text-to-3D generation have been remarkable. Most existing methods use pre-trained text-to-image diffusion models to optimize 3D representations like Neural Radiance Fields (NeRFs) via latent-space denoising score matching. Yet, these methods often result in artifacts and inconsistencies across different views due to their suboptimal optimization approaches and limited understanding of 3D geometry. Moreover, the inherent constraints of NeRFs in rendering crisp geometry and stable textures usually lead to a two-stage optimization to attain high-resolution details. This work proposes holistic sampling and smoothing approaches to achieve high-quality text-to-3D generation, all in a single-stage optimization. We compute denoising scores in the text-to-image diffusion model's latent and image spaces. Instead of randomly sampling timesteps (also referred to as noise levels in denoising score matching), we introduce a novel timestep annealing approach that progressively reduces the sampled timestep throughout optimization. To generate high-quality renderings in a single-stage optimization, we propose regularization for the variance of z-coordinates along NeRF rays. To address texture flickering issues in NeRFs, we introduce a kernel smoothing technique that refines importance sampling weights coarse-to-fine, ensuring accurate and thorough sampling in high-density regions. Extensive experiments demonstrate the superiority of our method over previous approaches, enabling the generation of highly detailed and view-consistent 3D assets through a single-stage training process.

研究动机与目标

• 为解决基于NeRF和得分蒸馏的现有文本到3D生成方法中存在的视角不一致与几何伪影问题。
• 通过在单一训练阶段实现高分辨率、逼真3D生成，消除对两阶段优化的依赖。
• 通过新颖的正则化技术改进NeRF优化，提升几何清晰度与纹理稳定性。
• 通过结合潜在空间与图像空间的去噪分数，并采用结构化的时间步长调度策略，增强扩散引导效果。
• 使同一框架能够实现从单张图像的高质量3D重建，拓展其应用范围，超越文本到3D生成任务。

提出的方法

• 从预训练的文生图扩散模型中，在潜在空间与图像空间中蒸馏去噪分数，以指导NeRF优化。
• 提出一种平方根时间步长退火策略，逐步降低优化过程中的噪声水平，提升生成结果的一致性与质量。
• 提出z-方差损失，用于正则化NeRF射线沿z方向的坐标方差，减少云雾状几何结构，提升深度准确性。
• 应用核平滑技术，以粗到精的方式优化重要性采样权重，缓解NeRF体积分辨率高密度区域的纹理闪烁问题。
• 采用双监督策略，结合图像空间与潜在空间的得分蒸馏，增强引导的保真度。
• 采用Deep Floyd IF模型配合T5-XXL文本编码器，提升语义理解能力，实现复杂概念的生成。

Figure 1: Examples of multiple views of 3D objects generated by from our model given text prompts (below each object).

实验结果

研究问题

• RQ1 单阶段优化过程是否能在无需两阶段精炼的前提下，实现高保真、视角一致的3D生成？
• RQ2 时间步长采样策略的选择——尤其是退火策略——如何影响生成3D资产的质量与一致性？
• RQ3 z-方差正则化与核平滑是否能协同提升NeRF的几何锐度与纹理稳定性？
• RQ4 来自先进文本编码器（如T5-XXL）的扩散引导在生成复杂或模糊概念方面能提升多少？
• RQ5 该框架是否能够实现从单张图像的高质量3D重建，从而拓展至文本到3D生成之外的应用？

主要发现

• 平方根时间步长退火策略在生成逼真且几何准确的3D资产方面，优于随机、线性与余弦退火策略。
• 移除z-方差损失会导致几何结构呈现云雾状且不一致，而以畸变损失替代则会损害外观细节与几何完整性。
• 所提出的z-方差损失在几何锐度方面始终优于其他正则化方法。
• 核平滑技术显著减少了纹理闪烁，通过在NeRF体积的高密度区域实现更精确、更全面的采样。
• 该方法在新视角合成任务中达到最先进性能，在单图像3D重建基准上优于同期方法如Zero-1-to-3、Magic123与SyncDreamer。
• 使用配备T5-XXL的Deep Floyd IF模型，显著提升了对复杂概念（如“一只穿医生装的老虎”）的生成能力，并解决了类似Janus的多脸问题。

Figure 2: Overview of our proposed method for text-to-3D generation . We aim to optimize a 3D model $g(\theta)$ using a pre-trained 2D latent diffusion prior . To achieve this, we employ a latent diffusion model for score distillation. Specifically, the diffusion model takes a rendered image $\bm{x}