[论文解读] DiffRF: Rendering-Guided 3D Radiance Field Diffusion

Norman Müller, Yawar Siddiqui+4 more|arXiv (Cornell University)|Dec 2, 2022

Computer Graphics and Visualization Techniques被引用 6

一句话总结

DiffRF 提出首个直接用于 3D 辐射场合成的扩散模型，通过在体素网格上使用 3D 去噪 U-Net 并结合体素渲染损失进行引导，学习多视角一致的先验。该方法实现了高保真、视角一致的 3D 生成以及无需任务特定微调的新型掩码补全，FID（15.95 vs. 16.54）和 MMD（4.42 vs. 5.62）指标优于 GAN 模型。

ABSTRACT

We introduce DiffRF, a novel approach for 3D radiance field synthesis based on denoising diffusion probabilistic models. While existing diffusion-based methods operate on images, latent codes, or point cloud data, we are the first to directly generate volumetric radiance fields. To this end, we propose a 3D denoising model which directly operates on an explicit voxel grid representation. However, as radiance fields generated from a set of posed images can be ambiguous and contain artifacts, obtaining ground truth radiance field samples is non-trivial. We address this challenge by pairing the denoising formulation with a rendering loss, enabling our model to learn a deviated prior that favours good image quality instead of trying to replicate fitting errors like floating artifacts. In contrast to 2D-diffusion models, our model learns multi-view consistent priors, enabling free-view synthesis and accurate shape generation. Compared to 3D GANs, our diffusion-based approach naturally enables conditional generation such as masked completion or single-view 3D synthesis at inference time.

研究动机与目标

• 开发一种直接从带姿态的 2D 图像合成 3D 辐射场的生成模型，实现高保真 3D 资产创建。
• 通过引入基于渲染的去噪损失，解决辐射场监督中模糊与伪影过多的挑战。
• 在无需任务特定微调的情况下，支持条件 3D 生成任务，如掩码补全与单视角 3D 合成。
• 学习支持自由视角合成与精确几何重建的多视角一致先验。
• 在基准数据集上，图像质量和几何保真度方面均优于现有 GAN 基方法。

提出的方法

• 提出一种直接在辐射场显式体素网格表示上运行的 3D 去噪扩散模型。
• 引入一种基于渲染的损失，通过引导去噪过程以提升图像合成质量，减少对伪影的拟合。
• 采用去噪 U-Net 架构预测体素网格中的噪声，并结合噪声调度与反向扩散采样。
• 在训练过程中应用体素渲染损失，使预测的辐射场与多视角下的渲染 2D 图像对齐。
• 通过分类器引导实现条件生成，使去噪过程被引导以最小化与输入图像的渲染误差。
• 通过迭代融合已知区域与去噪估计值，实现掩码辐射场补全，采用掩码扩散过程：$ f_{0}^{t-1} = \sqrt{\bar{\alpha}_{t}}(m \odot \tilde{f}^{t}_{0} + (1-m) \odot f^{in}) $，其中 $ m $ 为二值掩码。

Figure 2 : For a time step $t$ uniformly sampled from ${1,...,T}$ , we first diffuse an initial radiance field $f_{0}$ according to a fixed noising schedule. The resulting $f_{t}$ is passed through a time-conditioned 3D-UNet, giving an estimate of the applied noise $\epsilon$ . We guide the model by

实验结果

研究问题

• RQ1 能否有效训练一个扩散模型，直接从带姿态的 2D 图像生成 3D 辐射场，而无需中间表示？
• RQ2 如何通过基于渲染的损失提升生成辐射场的质量，减少对伪影和噪声的拟合？
• RQ3 基于扩散的 3D 生成能否学习到支持自由视角合成与精确几何的多视角一致先验？
• RQ4 该扩散框架能否在无需任务特定微调的情况下，适应新型条件任务（如掩码辐射场补全）？
• RQ5 与最先进的 GAN 基方法相比，基于扩散的 3D 辐射场模型在图像质量和几何精度方面的表现如何？

主要发现

• DiffRF 在 PhotoShape Chairs 数据集上实现了 15.95 的 Fréchet Inception Distance (FID)，优于基于 GAN 的 EG3D 基线（16.54）。
• 模型将多尺度结构相似性（MMD）得分从 EG3D 的 5.62 降低至 4.42，表明几何保真度得到提升。
• 在掩码补全任务中，DiffRF 生成的补全结果比 EG3D 更具多样性且更协调，更好地保留了原始未掩码区域。
• 定量评估显示，在相同掩码水平下，DiffRF 在未掩码区域的光度准确性（mPSNR）高于 EG3D。
• 通过使用带姿态图像与前景掩码的分类器引导，DiffRF 实现了单视角 3D 合成。
• DiffRF 展示了直接在 3D 辐射场上训练扩散模型的可行性，通过渲染监督克服了真实标签数据的缺乏。

Figure 3 : Qualitative comparison between $\pi$ -GAN [ 7 ] , EG3D [ 8 ] , and our method on PhotoShape Chairs [ 46 ] . Our approach leads to diverse, geometrically accurate models that allow for high-quality renderings.