[论文解读] CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout

Haotian Bai, Lyu, Yuanhuiyi+5 more|arXiv (Cornell University)|Mar 24, 2023

3D Shape Modeling and Analysis被引用 5

一句话总结

CompoNeRF 提出了一种文本引导的多对象 3D 场景生成框架，通过将复杂提示分解为带有子提示的独立 NeRF 以及可编辑的 3D 布局，利用双层次（对象特定与全局）文本引导和一个组合模块来确保一致性。与先前方法相比，其多视角 CLIP 分数提升了 54%，实现了高保真度、可编辑且可组合的 3D 场景。

ABSTRACT

Text-to-3D form plays a crucial role in creating editable 3D scenes for AR/VR. Recent advances have shown promise in merging neural radiance fields (NeRFs) with pre-trained diffusion models for text-to-3D object generation. However, one enduring challenge is their inadequate capability to accurately parse and regenerate consistent multi-object environments. Specifically, these models encounter difficulties in accurately representing quantity and style prompted by multi-object texts, often resulting in a collapse of the rendering fidelity that fails to match the semantic intricacies. Moreover, amalgamating these elements into a coherent 3D scene is a substantial challenge, stemming from generic distribution inherent in diffusion models. To tackle the issue of 'guidance collapse' and further enhance scene consistency, we propose a novel framework, dubbed CompoNeRF, by integrating an editable 3D scene layout with object-specific and scene-wide guidance mechanisms. It initiates by interpreting a complex text into the layout populated with multiple NeRFs, each paired with a corresponding subtext prompt for precise object depiction. Next, a tailored composition module seamlessly blends these NeRFs, promoting consistency, while the dual-level text guidance reduces ambiguity and boosts accuracy. Noticeably, our composition design permits decomposition. This enables flexible scene editing and recomposition into new scenes based on the edited layout or text prompts. Utilizing the open-source Stable Diffusion model, CompoNeRF generates multi-object scenes with high fidelity. Remarkably, our framework achieves up to a extbf{54\%} improvement by the multi-view CLIP score metric. Our user study indicates that our method has significantly improved semantic accuracy, multi-view consistency, and individual recognizability for multi-object scene generation.

研究动机与目标

• 为解决多对象文本到 3D 生成中的‘引导崩溃’问题，即扩散模型无法保留对象身份和空间排列。
• 提升从稀疏多对象文本提示生成复杂多对象 3D 场景时的一致性和保真度。
• 通过将 NeRF 解耦为可重用、可编辑的组件并控制空间布局，实现灵活的场景编辑与重构。
• 通过引入对象特定和全局文本监督，克服单网络 NeRF 和通用扩散引导的局限性。
• 证明组合式 NeRF 配合可编辑 3D 布局可显著提升多对象场景的一致性和语义准确性。

提出的方法

• 该框架将多对象文本提示解析为一组局部 NeRF，每个 NeRF 关联一个空间边界框和一个子提示，以实现精确的对象生成。
• 每个 NeRF 同时基于其对象特定子提示和全局文本提示进行条件控制，实现双层次文本引导，以减少歧义并提高保真度。
• 一个专用的组合模块使用学习到的混合权重融合各个 NeRF，确保空间一致性并最小化对象边界处的伪影。
• 3D 场景布局可编辑，允许用户修改对象位置、删除或添加组件，并通过缓存的 NeRF 重新组合场景。
• 该方法利用 Stable Diffusion 模型进行 3D 生成，NeRF 通过可微分渲染管道端到端训练。
• 系统支持 NeRF 的分解与重构，使训练好的组件可在新场景中以修改后的布局或提示重新使用。

Figure 2 : The guidance collapse issue & Our solutions . (a) Generation of multi-level scene utilizing the frozen Stable Diffusion. Instances of guidance collapse are observed when using global text ( $gt$ ). (b) Our proposed strategies for multi-object scene composition align with Eq. 2 . The areas

实验结果

研究问题

• RQ1 双层次文本引导（对象特定与全局）是否能有效缓解多对象 3D 场景生成中的引导崩溃问题？
• RQ2 具有可编辑 3D 布局的组合式 NeRF 框架是否能实现从文本生成高保真度、一致性的复杂多对象场景？
• RQ3 NeRF 的分解与重构在多大程度上提升了场景编辑的灵活性和可重用性？
• RQ4 与简单的 NeRF 混合相比，所提出的组合模块在提升全局场景一致性方面有何增强作用？
• RQ5 空间布局控制与子提示的整合是否带来了与文本提示对齐的可测量改进？

主要发现

• CompoNeRF 在具有挑战性的 Case 5 提示上实现了多视角 CLIP 分数 54% 的相对提升，证明其与复杂文本描述的对齐能力更优。
• 该方法成功生成了具有区分度、正确颜色和空间排列的对象——例如一个红色苹果和一个黄色香蕉——而对比方法则将它们合并为一个模糊的单一对象。
• 定性结果表明，CompoNeRF 生成的场景更具上下文相关性且视觉上更连贯，尤其在具有细微空间关系的复杂多对象场景中表现更优。
• 该框架实现了有效的场景编辑：在分解后，NeRF 可以通过修改布局或提示重新组合，生成新的、一致的场景。
• 若在组合过程中缺少全局引导，则会出现明显的伪影和不一致性，证实双层次监督的必要性。
• 在定性和定量评估中，该方法在保留对象身份和空间结构方面均优于 Latent-NeRF 和 SJC。

Figure 3 : Framework Overview . The CompoNeRF model unfolds in three stages: 1) Editing 3D scene, which initiates the process by structuring the scene with 3D boxes and textual prompts; 2) Scene rendering, which encapsulates the composition/recomposition process, facilitating the transformation of N