[论文解读] InNeRF360: Text-Guided 3D-Consistent Object Inpainting on 360-degree Neural Radiance Fields

Dongqing Wang, Tong Zhang+2 more|arXiv (Cornell University)|May 24, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

InpaintNeRF360 提出了一种文本引导的、3D 一致的图像修复框架，用于处理无界 NeRF 场景，通过多模态提示从文本引导可提示的分割模型（SAM）并结合深度空间变形实现视图一致的对象移除。该方法通过结合 2D 图像修复先验与使用感知损失和 L1 损失进行微调的 NeRF，实现了逼真且几何感知的 3D 图像修复，从而能够基于自然语言指令实现准确的多对象编辑。

ABSTRACT

We propose InNeRF360, an automatic system that accurately removes text-specified objects from 360-degree Neural Radiance Fields (NeRF). The challenge is to effectively remove objects while inpainting perceptually consistent content for the missing regions, which is particularly demanding for existing NeRF models due to their implicit volumetric representation. Moreover, unbounded scenes are more prone to floater artifacts in the inpainted region than frontal-facing scenes, as the change of object appearance and background across views is more sensitive to inaccurate segmentations and inconsistent inpainting. With a trained NeRF and a text description, our method efficiently removes specified objects and inpaints visually consistent content without artifacts. We apply depth-space warping to enforce consistency across multiview text-encoded segmentations, and then refine the inpainted NeRF model using perceptual priors and 3D diffusion-based geometric priors to ensure visual plausibility. Through extensive experiments in segmentation and inpainting on 360-degree and frontal-facing NeRFs, we show that our approach is effective and enhances NeRF's editability. Project page: https://ivrl.github.io/InNeRF360.

研究动机与目标

• 为解决隐式 NeRF 表示中 3D 场景编辑的挑战，特别是实现 360° 视图下几何与光度一致的对象移除。
• 克服基于 2D 的图像修复方法在无界场景中因视角间形状变化而失效的局限性。
• 实现直观的、基于文本的 3D 编辑，无需手动分割掩码，从而提升用户可访问性与控制力。
• 通过多视角监督和感知先验，确保修复后 3D 场景的视图一致性和视觉合理性。

提出的方法

• 将文本指令编码为多模态提示，以引导分割一切模型（SAM）进行多视角实例分割。
• 应用深度空间变形将 2D 分割掩码在不同视角间传播并优化，以强化对象身份的 3D 一致性。
• 使用预训练的图像修复模型，基于分割掩码在多视角图像上生成视觉上合理的 2D 修复结果。
• 通过结合像素级 L1 损失和掩码感知损失（LPIPS）的混合损失函数对 NeRF 模型进行微调，以保持视觉连贯性。
• 在微调过程中进一步利用预训练 NeRF 的 3D 一致性来强化视图一致性。
• 该框架支持仅通过自然语言提示实现多个对象的编辑或对象外观修改，无需提示工程。

实验结果

研究问题

• RQ1 文本引导的 3D 图像修复能否在无界 NeRF 场景中实现 360° 视图下的一致对象移除？
• RQ2 深度空间变形在多视角分割中保持 3D 对象身份一致性方面有多有效？
• RQ3 结合 2D 图像修复先验与 NeRF 微调是否能产生视觉合理且视图一致的 3D 修复结果？
• RQ4 与逐帧修复相比，该方法在时间一致性和视图一致性方面表现如何？
• RQ5 该框架能否仅通过自然语言指令实现无需手动掩码输入的精确对象级编辑？

主要发现

• 在花园场景中，InpaintNeRF360 在视图一致性方面获得 86% 的用户偏好，显著优于逐帧修复方法（14% 偏好）。
• 在 Cup 和 Starbucks 数据集上，InpaintNeRF360 的 LPIPS 为 0.6201，FID 为 168.39，优于逐帧修复（LPIPS: 0.6375，FID: 181.57）。
• 引入掩码感知损失可减少 3D 场景中的模糊伪影，定性对比显示仅使用 L1 损失的训练会导致广泛模糊。
• 该方法可基于单条文本指令同时移除多个对象，例如 '移除花盆和花朵'。
• 当与掩码条件图像编辑器结合时，InpaintNeRF360 能实现精确的对象风格化，而 In2n 则会将风格化应用到大面积非预期区域。
• 该框架在无界和前向视角场景中均表现出良好的泛化能力，展示了在多样化真实世界数据集上的鲁棒性。