[论文解读] 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models

Gang Li, Heliang Zheng+4 more|arXiv (Cornell University)|Nov 25, 2022

Generative Adversarial Networks and Image Synthesis被引用 12

一句话总结

3DDesigner 提出了一种基于文本引导的扩散模型，用于生成和编辑逼真的3D物体，通过基于NeRF的条件模块和双流异步扩散过程，确保多视角间的一致性。该方法支持360°一致的生成、通过噪声混合与反演实现单视角3D局部编辑，以及一次拍摄的新型视角合成，在3D一致性、图像质量和可控性方面优于现有方法。

ABSTRACT

Text-guided diffusion models have shown superior performance in image/video generation and editing. While few explorations have been performed in 3D scenarios. In this paper, we discuss three fundamental and interesting problems on this topic. First, we equip text-guided diffusion models to achieve 3D-consistent generation. Specifically, we integrate a NeRF-like neural field to generate low-resolution coarse results for a given camera view. Such results can provide 3D priors as condition information for the following diffusion process. During denoising diffusion, we further enhance the 3D consistency by modeling cross-view correspondences with a novel two-stream (corresponding to two different views) asynchronous diffusion process. Second, we study 3D local editing and propose a two-step solution that can generate 360-degree manipulated results by editing an object from a single view. Step 1, we propose to perform 2D local editing by blending the predicted noises. Step 2, we conduct a noise-to-text inversion process that maps 2D blended noises into the view-independent text embedding space. Once the corresponding text embedding is obtained, 360-degree images can be generated. Last but not least, we extend our model to perform one-shot novel view synthesis by fine-tuning on a single image, firstly showing the potential of leveraging text guidance for novel view synthesis. Extensive experiments and various applications show the prowess of our 3DDesigner. The project page is available at https://3ddesigner-diffusion.github.io/.

研究动机与目标

• 为解决3D生成中缺乏文本引导扩散模型的问题，特别是实现3D一致结果。
• 实现在单视角编辑下可控的3D局部编辑，生成一致的360°输出。
• 通过在单张图像上微调，将模型扩展至一次拍摄的新型视角合成。
• 整合基于NeRF的先验知识与跨视角对应关系建模，以在扩散过程中提升3D一致性。
• 开发一种从2D编辑中实现3D感知编辑的噪声到文本反演流程。

提出的方法

• 集成类似NeRF的神经场作为条件模块，从文本和相机视角生成低分辨率的粗粒度3D感知结果。
• 采用双流异步扩散模块，联合去噪来自不同视角的两幅图像，通过建模跨视角对应关系来增强3D一致性。
• 在DDIM采样过程中使用噪声混合策略，通过用新文本提示下预测的噪声替换目标区域的噪声，实现2D局部编辑。
• 提出一种噪声到文本反演过程，将2D混合噪声映射到与视角无关的文本嵌入空间，从而实现从单张编辑视图生成360°结果。
• 通过在单张图像上进行去噪并结合文本引导进行微调，实现一次拍摄的新型视角合成。
• 使用CLIP文本编码器与基于NeRF的3D监督相结合的方式训练扩散模型，以对齐文本、图像与3D几何结构。

实验结果

研究问题

• RQ1 如何将文本引导的扩散模型适配于从文本和相机视角生成3D一致且逼真的3D物体？
• RQ2 能否在单视角编辑下实现3D局部编辑，同时保持360°一致性？
• RQ3 跨视角特征交互与异步去噪在扩散过程中对维持3D一致性起到什么作用？
• RQ4 能否仅通过单张图像与文本引导将模型扩展至一次拍摄的新型视角合成？
• RQ5 基于NeRF的条件模块与噪声级别感知引导如何提升3D一致性与图像质量？

主要发现

• 与重新实现的基线方法（如CLIP-NeRF和扩展的3DiM）相比，3DDesigner在3D一致性、图像质量与可控性方面表现更优。
• 消融实验表明，双流异步扩散模块显著提升了3D一致性；当移除跨视角对应关系或异步时间步长时，性能明显下降。
• 噪声混合与噪声到文本反演流程成功实现了从单视角编辑生成高保真度的360°图像，避免了图像到文本反演中常见的伪影。
• 定量评估显示，3DDesigner在一次拍摄新型视角合成任务中达到33.14 PSNR与0.94 SSIM，优于3DiM（32.53 PSNR，0.93 SSIM）。
• 可视化结果表明，与先前方法相比，3DDesigner生成的360°视角更真实且一致，尤其在复杂编辑与新型视角场景中表现更优。
• 模型在多样化3D物体（包括车辆与复杂形状）上表现出良好泛化能力，如在生成、编辑与合成任务的多个定性结果中所展示。