[论文解读] GaussianEditor: Editing 3D Gaussians Delicately with Text Instructions

Junjie Wang, Jiemin Fang+3 more|arXiv (Cornell University)|Nov 27, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

GaussianEditor 是一种新颖的框架，通过 3D 高斯溅射实现精细的、文本引导的 3D 场景编辑。它从文本中提取基于区域的兴趣区域（RoI），通过图像空间定位将这些区域对齐至 3D 高斯分布，并应用局部编辑以实现精确控制——在编辑质量方面优于先前方法（如 Instruct-NeRF2NeRF），且训练速度达到 20 分钟以内。

ABSTRACT

Recently, impressive results have been achieved in 3D scene editing with text instructions based on a 2D diffusion model. However, current diffusion models primarily generate images by predicting noise in the latent space, and the editing is usually applied to the whole image, which makes it challenging to perform delicate, especially localized, editing for 3D scenes. Inspired by recent 3D Gaussian splatting, we propose a systematic framework, named GaussianEditor, to edit 3D scenes delicately via 3D Gaussians with text instructions. Benefiting from the explicit property of 3D Gaussians, we design a series of techniques to achieve delicate editing. Specifically, we first extract the region of interest (RoI) corresponding to the text instruction, aligning it to 3D Gaussians. The Gaussian RoI is further used to control the editing process. Our framework can achieve more delicate and precise editing of 3D scenes than previous methods while enjoying much faster training speed, i.e. within 20 minutes on a single V100 GPU, more than twice as fast as Instruct-NeRF2NeRF (45 minutes -- 2 hours).

研究动机与目标

• 实现由自然语言指令引导的细粒度、局部化 3D 场景编辑。
• 克服将 2D 扩散模型应用于 3D 场景时在定位编辑区域方面的局限性。
• 利用 3D 高斯分布的显式、逐点特性，实现精确的个体化编辑控制。
• 相比现有的基于 NeRF 的编辑方法，缩短训练时间，同时提高编辑准确性。
• 将多模态组件（大语言模型、定位模型、3D 高斯分布）整合到统一的、可交互的编辑流水线中。

提出的方法

• 使用大语言模型（LLM）从文本指令中提取兴趣区域（RoI），以识别关键编辑目标。
• 利用定位分割模型在 2D 图像空间中定位 RoI，生成图像级别的 RoI 掩码。
• 应用 RoI 提升模块，将 2D 图像 RoI 投影回 3D 高斯分布空间，最大限度减少泄漏和噪声。
• 在经过优化的 RoI 内，使用受文本和空间约束条件控制的扩散模型对 3D 高斯分布执行局部编辑。
• 通过用户提供的 3D 方框或点选实现交互式优化，进一步细化编辑区域。
• 集成场景描述生成模块，以改善对空间关系的理解，增强指令定位的准确性。

实验结果

研究问题

• RQ1 当由文本引导时，3D 高斯溅射是否能比隐式 NeRF 基础方法实现更精确、更局部化的 3D 场景编辑？
• RQ2 如何在 3D 空间中有效定位基于文本的兴趣区域，以避免全局或噪声编辑？
• RQ3 结合大语言模型、定位模型和 3D 高斯分布操作的多阶段流水线，是否能比端到端的扩散基方法实现更快、更准确的编辑？
• RQ4 场景描述生成在提升编辑任务中空间理解准确性方面发挥什么作用？
• RQ5 RoI 提升模块如何减少由不完美 2D 分割导致的编辑泄漏？

主要发现

• GaussianEditor 在编辑精细度和精确度方面显著优于 Instruct-NeRF2NeRF，尤其在将修改精准定位到特定物体部件方面表现突出。
• 该方法在单张 V100 GPU 上训练时间少于 20 分钟，比 Instruct-NeRF2NeRF（45 分钟至 2 小时）快了两倍以上。
• 消融研究证实，所有组件——高斯 RoI、文本 RoI 和 RoI 提升模块——均不可或缺，任一缺失均会导致显著的编辑泄漏或失败。
• 场景描述生成使空间关系理解更加准确，从而能够正确编辑如“自行车旁边的长椅”等复杂关系，而基线设置在此类任务中失败。
• RoI 提升模块能有效减少由不完美 2D 分割带来的噪声和泄漏，提升 3D 编辑的保真度。
• 用户交互控件（如 3D 方框、点选）支持多轮精细编辑，显著提升可用性。