[论文解读] ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF

Jang-Ho Park, Gihyun Kwon+1 more|arXiv (Cornell University)|Oct 4, 2023

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

ED-NeRF 通过在扩散模型的潜在空间训练 NeRF，使用 refinement layer 与 Delta Denoising Score (DDS) 以及掩码来实现高效、定向的文本引导编辑，从而对现实世界 3D 场景进行编辑。

ABSTRACT

Recently, there has been a significant advancement in text-to-image diffusion models, leading to groundbreaking performance in 2D image generation. These advancements have been extended to 3D models, enabling the generation of novel 3D objects from textual descriptions. This has evolved into NeRF editing methods, which allow the manipulation of existing 3D objects through textual conditioning. However, existing NeRF editing techniques have faced limitations in their performance due to slow training speeds and the use of loss functions that do not adequately consider editing. To address this, here we present a novel 3D NeRF editing approach dubbed ED-NeRF by successfully embedding real-world scenes into the latent space of the latent diffusion model (LDM) through a unique refinement layer. This approach enables us to obtain a NeRF backbone that is not only faster but also more amenable to editing compared to traditional image space NeRF editing. Furthermore, we propose an improved loss function tailored for editing by migrating the delta denoising score (DDS) distillation loss, originally used in 2D image editing to the three-dimensional domain. This novel loss function surpasses the well-known score distillation sampling (SDS) loss in terms of suitability for editing purposes. Our experimental results demonstrate that ED-NeRF achieves faster editing speed while producing improved output quality compared to state-of-the-art 3D editing models.

研究动机与目标

• 旨在利用潜在扩散先验实现快速、便于编辑的 3D NeRF 模型的动机。
• 开发一个潜在空间 NeRF 训练管线，用于对现实世界场景进行嵌入以实现更快的编辑。
• 提出一个 refinement layer 来提升潜在空间渲染质量。
• 引入基于掩码的 Delta Denoising Score (DDS) 损失以引导编辑并抑制非预期的更改。
• 展示在编辑速度和输出质量上相对于最新 3D 编辑方法的改进。

提出的方法

• 直接在 Stable Diffusion 的潜在空间中训练 NeRF，通过将现实世界的多视图图像编码为潜在特征图并预测潜在特征而非 RGB 颜色。
• 添加带有 ResNet/自注意力模块的 refinement layer，以捕捉像素间交互并提升新视图的合成效果。
• 使用在潜在空间中的重建损失与 refinement 损失的总损失，以使 NeRF 输出在各视图的潜在编码对齐。
• 将 Delta Denoising Score (DDS) 扩展到 3D，通过计算源提示与目标提示之间的分数差并将掩码 DDS 应用于局部编辑。
• 引入带掩码的重建损失以约束对目标区域之外的更新并保持整体结构。
• 可选：通过潜在解码器渲染编辑后的潜在向量以获得最终图像。

Figure 1: Qualitative results of our method. ED-NeRF successfully edited 3D scenes with given target text prompts while preserving the original object structure and background regions.

实验结果

研究问题

• RQ1 ED-NeRF 是否能够相较于现有 NeRF 编辑方法，在现实世界 3D 场景的文本引导编辑中实现更快的速度和更高的保真度？
• RQ2 在潜在空间中结合 refinement layer 与 DDS 损失，是否能获得更好的视图一致性和区域特定的编辑效果？
• RQ3 基于掩码的 DDS 方法是否能够有效限制编辑到目标区域，同时保留非目标区域？
• RQ4 与基于 CLIP 的和基于扩散的 NeRF 编辑基线相比，ED-NeRF 在定性和感知指标上的表现如何？

主要发现

• ED-NeRF 相较于最先进的 3D 编辑模型，达到更快的编辑速度和更高的输出质量。
• 具有 refinement layer 的潜在空间 NeRF 能更好地保持编辑视图的视图一致性和真实感。
• 带掩码的 DDS 搭配重建项实现了区域特定的编辑，降低了不希望的形变。
• 定量结果显示 ED-NeRF 在 CLIP 方向性分数方面达到最高，并在保留性与视图一致性方面相对于基线表现强劲。
• 用户研究表明相较于基线方法，用户对 ED-NeRF 的感知偏好更高。

Figure 2: Overall pipeline of training and inference stage. (a) We optimize ED-NeRF in the latent space, supervised by source latent. Naively matching NeRF to a latent feature map during optimization can degrade view synthesis quality. (b) Inspired by the embedding process of Stable Diffusion, we in