[论文解读] InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes

Mohamad Shahbazi, Liesbeth Claessens+5 more|arXiv (Cornell University)|Jan 10, 2024

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

InseRF 实现了无需显式 3D 空间输入的、由文本和 2D 框引导的、3D 一致的生成式物体插入，适用于神经 3D 场景。它通过 2D 扩散编辑在单张参考视图中定位物体生成，利用单视角重建将结果提升至 3D，并通过深度引导的放置和 NeRF 融合确保 3D 一致性，在局部化、逼真的物体插入方面优于基线方法。

ABSTRACT

We introduce InseRF, a novel method for generative object insertion in the NeRF reconstructions of 3D scenes. Based on a user-provided textual description and a 2D bounding box in a reference viewpoint, InseRF generates new objects in 3D scenes. Recently, methods for 3D scene editing have been profoundly transformed, owing to the use of strong priors of text-to-image diffusion models in 3D generative modeling. Existing methods are mostly effective in editing 3D scenes via style and appearance changes or removing existing objects. Generating new objects, however, remains a challenge for such methods, which we address in this study. Specifically, we propose grounding the 3D object insertion to a 2D object insertion in a reference view of the scene. The 2D edit is then lifted to 3D using a single-view object reconstruction method. The reconstructed object is then inserted into the scene, guided by the priors of monocular depth estimation methods. We evaluate our method on various 3D scenes and provide an in-depth analysis of the proposed components. Our experiments with generative insertion of objects in several 3D scenes indicate the effectiveness of our method compared to the existing methods. InseRF is capable of controllable and 3D-consistent object insertion without requiring explicit 3D information as input. Please visit our project page at https://mohamad-shahbazi.github.io/inserf.

研究动机与目标

• 解决在复杂 3D 场景中实现 3D 一致的、生成式物体插入但缺乏显式 3D 空间引导的开放性挑战。
• 克服现有 3D 编辑方法因 2D 编辑不一致和缺乏空间控制而导致的物体插入失败问题。
• 实现局部化、场景感知的物体生成，尊重场景外观、几何结构和空间上下文，同时仅需最少的用户输入。
• 开发一种整合 2D 扩散先验和单视角 3D 重建的方法，以实现鲁棒的 3D 物体插入。

提出的方法

• 在 NeRF 重建的场景的参考视图中，通过文本提示和 2D 框作为空间和语义引导，将 3D 物体插入任务锚定在 2D 编辑中。
• 应用 2D 文本到图像扩散模型，在参考视图内生成目标物体，确保与提示在语义和视觉上的一致性。
• 使用单视角到 3D 重建方法将 2D 生成的物体提升至 3D，保留来自参考视图的形状和结构。
• 使用单目深度估计为插入的物体估算深度，以指导其 3D 位置放置，确保多视角间几何一致性。
• 通过考虑物体大小和深度的密度缩放策略，将重建的物体 NeRF 与原始场景 NeRF 进行融合，以确保视觉和谐。
• 可选地使用 Instruct-NeRF2NeRF 进行优化，以提升最终 3D 场景中的光照、纹理和场景一致性。

实验结果

研究问题

• RQ1 仅使用 2D 框和文本提示，无需显式 3D 空间输入，是否能在复杂 3D 场景中实现 3D 一致的物体插入？
• RQ2 如何利用 2D 扩散模型生成在多视角下几何和视觉一致的 3D 物体？
• RQ3 当仅提供单张 2D 参考视图时，深度估计在确保生成物体正确 3D 放置中起到什么作用？
• RQ4 所提出的结合场景和物体 NeRF 表示的融合策略如何影响视觉真实感和一致性？
• RQ5 该方法在局部化、生成式物体插入任务中，与现有基于 2D 和 3D 的编辑基线相比，性能提升程度如何？

主要发现

• InseRF 仅使用文本提示和单个 2D 框，成功将多样化、3D 一致的物体插入复杂 3D 场景中，实现局部化编辑且不引起全局场景失真。
• 该方法在物体插入任务中优于 Instruct-NeRF2NeRF 和多视角修复基线，避免了全局场景变化和 3D 浮动物体。
• 尺度和半径优化显著提升了物体放置的准确性，使深度和尺寸更符合参考视图的现实感。
• 在 NeRF 融合过程中进行物体密度缩放，可防止视觉伪影，并确保插入物体在场景中正确渲染。
• 可选的优化步骤增强了纹理细节和光照效果，提升了真实感和与场景的协调性。
• 视觉消融实验证实，所提出的 2D 锚定策略可实现一致且局部化的插入，而基线方法因 2D 编辑不一致和缺乏 3D 控制而失败。