[论文解读] Edit-DiffNeRF: Editing 3D Neural Radiance Fields using 2D Diffusion Model

Lu Yu, Wei Xiang+1 more|arXiv (Cornell University)|Jun 15, 2023

3D Shape Modeling and Analysis被引用 5

一句话总结

Edit-DiffNeRF 提出了一种新颖的框架，通过使用冻结的2D扩散模型和可学习的delta模块来编辑潜在语义空间，实现对真实世界3D NeRF场景的细粒度、多视角一致的编辑，编辑过程由文本提示引导。与先前方法如Instruct-NeRF2NeRF相比，该方法在文本指令对齐方面提升了25%。

ABSTRACT

Recent research has demonstrated that the combination of pretrained diffusion models with neural radiance fields (NeRFs) has emerged as a promising approach for text-to-3D generation. Simply coupling NeRF with diffusion models will result in cross-view inconsistency and degradation of stylized view syntheses. To address this challenge, we propose the Edit-DiffNeRF framework, which is composed of a frozen diffusion model, a proposed delta module to edit the latent semantic space of the diffusion model, and a NeRF. Instead of training the entire diffusion for each scene, our method focuses on editing the latent semantic space in frozen pretrained diffusion models by the delta module. This fundamental change to the standard diffusion framework enables us to make fine-grained modifications to the rendered views and effectively consolidate these instructions in a 3D scene via NeRF training. As a result, we are able to produce an edited 3D scene that faithfully aligns to input text instructions. Furthermore, to ensure semantic consistency across different viewpoints, we propose a novel multi-view semantic consistency loss that extracts a latent semantic embedding from the input view as a prior, and aim to reconstruct it in different views. Our proposed method has been shown to effectively edit real-world 3D scenes, resulting in 25% improvement in the alignment of the performed 3D edits with text instructions compared to prior work.

研究动机与目标

• 解决使用预训练扩散模型和NeRF进行文本到3D编辑时存在的跨视角不一致和3D一致性差的问题。
• 实现在不为每个场景微调扩散模型的前提下，对3D场景进行细粒度、可控的编辑。
• 通过一种新颖的多视角语义一致性损失，确保在3D编辑过程中多个视角之间的语义一致性。
• 在现有方法如Instruct-NeRF2NeRF的基础上，进一步提升文本指令与渲染3D场景编辑之间的一致性。
• 利用冻结的扩散先验，在真实捕获的NeRF场景上实现逼真且一致的3D编辑。

提出的方法

• 该框架使用冻结的预训练2D扩散模型，为NeRF场景的每个视角生成潜在嵌入。
• 通过CLIP距离损失进行引导，训练一个可学习的delta模块，基于文本提示编辑扩散模型的潜在空间。
• 将编辑后的潜在嵌入解码为2D图像，再用于训练NeRF以实现3D场景重建。
• 引入一种多视角语义一致性损失，以在不同视角之间重建共享的潜在先验，确保3D一致性。
• 通过结合CLIP损失和一致性损失，端到端优化delta模块与NeRF。
• 该方法避免为每个场景微调扩散模型，转而专注于学习潜在空间中的delta，以实现高效且一致的编辑。

实验结果

研究问题

• RQ1 我们能否在不为每个场景微调扩散模型的前提下，实现细粒度、文本引导的3D场景编辑？
• RQ2 如何利用2D扩散先验在3D编辑过程中确保多个视角之间的语义一致性？
• RQ3 在冻结的扩散模型潜在空间中，delta模块能否有效将文本指令传递到3D场景编辑中？
• RQ4 所提出的多视角语义一致性损失是否能显著提升3D一致性和编辑保真度？
• RQ5 与SOTA方法如Instruct-NeRF2NeRF相比，Edit-DiffNeRF在文本到图像和文本到3D对齐方面表现如何？

主要发现

• 与Instruct-NeRF2NeRF相比，Edit-DiffNeRF在文本到3D编辑对齐方面提升了25%，该结果通过CLIP文本-图像相似度进行衡量。
• 该方法显著减少了多视角不一致以及先前方法中存在的模糊、噪声等渲染伪影。
• 若移除多视角语义一致性损失，3D一致性明显下降，证明该损失在保持场景连贯性方面具有关键作用。
• 消融研究证实，仅使用delta模块即可优于基线方法，但结合一致性损失的完整框架效果最佳。
• Edit-DiffNeRF在真实捕获的NeRF场景上生成了逼真且一致的3D编辑结果，在视觉质量和对齐度方面均优于CLIP-NeRF和Instruct-NeRF2NeRF。
• 该框架对多样化编辑具有鲁棒性，包括颜色变化（如下雪效果）、物体移除（如熊像雕塑）以及复杂修改（如添加格子纹夹克）。