[論文レビュー] CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout

Haotian Bai, Lyu, Yuanhuiyi+5 more|arXiv (Cornell University)|Mar 24, 2023

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

CompoNeRFは、複雑なプロンプトを個々のNeRFと部分的プロンプトに分解し、編集可能な3Dレイアウトを用いて、二段階（オブジェクト固有およびグローバル）のテキストガイダンスと組み合わせモジュールを用いて一貫性を確保する、テキスト誘導型でマルチオブジェクト対応の3Dシーン生成フレームワークを提案する。従来手法に比べてマルチビューCLIPスコアで54%の向上を達成し、高精細で編集可能かつ再構成可能な3Dシーンを実現する。

ABSTRACT

Text-to-3D form plays a crucial role in creating editable 3D scenes for AR/VR. Recent advances have shown promise in merging neural radiance fields (NeRFs) with pre-trained diffusion models for text-to-3D object generation. However, one enduring challenge is their inadequate capability to accurately parse and regenerate consistent multi-object environments. Specifically, these models encounter difficulties in accurately representing quantity and style prompted by multi-object texts, often resulting in a collapse of the rendering fidelity that fails to match the semantic intricacies. Moreover, amalgamating these elements into a coherent 3D scene is a substantial challenge, stemming from generic distribution inherent in diffusion models. To tackle the issue of 'guidance collapse' and further enhance scene consistency, we propose a novel framework, dubbed CompoNeRF, by integrating an editable 3D scene layout with object-specific and scene-wide guidance mechanisms. It initiates by interpreting a complex text into the layout populated with multiple NeRFs, each paired with a corresponding subtext prompt for precise object depiction. Next, a tailored composition module seamlessly blends these NeRFs, promoting consistency, while the dual-level text guidance reduces ambiguity and boosts accuracy. Noticeably, our composition design permits decomposition. This enables flexible scene editing and recomposition into new scenes based on the edited layout or text prompts. Utilizing the open-source Stable Diffusion model, CompoNeRF generates multi-object scenes with high fidelity. Remarkably, our framework achieves up to a extbf{54\%} improvement by the multi-view CLIP score metric. Our user study indicates that our method has significantly improved semantic accuracy, multi-view consistency, and individual recognizability for multi-object scene generation.

研究の動機と目的

• マルチオブジェクトテキストから3Dへの生成における「ガイダンスコラプス」問題に対処すること、すなわち、拡散モデルがオブジェクトの同一性と空間的配置を保持できない問題。
• スパarsなマルチオブジェクトテキストプロンプトから、複数のオブジェクトを含む複雑な3Dシーンを、一貫性と忠実度の高いレンダリングで生成すること。
• オブジェクトを再利用可能で編集可能なコンポonentに分離し、空間的レイアウト制御を可能にすることで、柔軟なシーン編集と再構成を可能にすること。
• 単一ネットワークのNeRFと一般的な拡散ガイダンスの制限を克服するため、オブジェクト固有およびグローバルなテキスト監視を導入すること。
• 合成NeRFと編集可能な3Dレイアウトを用いることで、マルチオブジェクトシーンの整合性と意味的正確性が顕著に向上することを示すこと。

提案手法

• フレームワークは、マルチオブジェクトテキストプロンプトを、それぞれが空間的バウンディングボックスと部分的プロンプトに関連付けられた局所化されたNeRFの集合に分解する。
• 各NeRFは、オブジェクト固有の部分的プロンプトとグローバルテキストプロンプトの両方で条件付けられており、曖昧さを低減し忠実度を向上させる二段階ガイダンスを実現する。
• 専用の組み合わせモジュールが、学習されたブレンド重みを用いて個々のNeRFを合成し、空間的一致性を確保するとともに、オブジェクト境界でのアーティファクトを最小限に抑える。
• 3Dシーンレイアウトは編集可能であり、ユーザーがオブジェクトの位置を変更したり、コンポーネントを削除・追加したり、キャッシュされたNeRFを用いて再構成可能なシーンを生成できる。
• 3D生成にはStable Diffusionモデルを活用し、NeRFは微分可能レンダリングパイプラインを用いてエンドツーエンドで訓練される。
• システムはNeRFの分解と再構成をサポートしており、新しいシーンにおいてレイアウトやプロンプトを変更することで、訓練済みコンポーネントを再利用可能にする。

Figure 2 : The guidance collapse issue & Our solutions . (a) Generation of multi-level scene utilizing the frozen Stable Diffusion. Instances of guidance collapse are observed when using global text ( $gt$ ). (b) Our proposed strategies for multi-object scene composition align with Eq. 2 . The areas

実験結果

リサーチクエスチョン

• RQ1 オブジェクト固有およびグローバルの二段階テキストガイダンスは、マルチオブジェクト3Dシーン生成におけるガイダンスコラプスを効果的に緩和できるか？
• RQ2 編集可能な3Dレイアウトを備えた合成NeRFフレームワークは、テキストからの高精細で一貫性のある複雑なマルチオブジェクトシーンのレンダリングを可能にするか？
• RQ3 NeRFの分解と再構成は、シーン編集の柔軟性と再利用性をどの程度向上させるか？
• RQ4 提案された組み合わせモジュールは、単純なNeRFブレンドに比べて、グローバルなシーンの一貫性をどの程度向上させるか？
• RQ5 空間的レイアウト制御と部分的プロンプトの統合は、テキストプロンプトとの整合性向上に顕著な効果をもたらすか？

主な発見

• CompoNeRFは、挑戦的なCase 5プロンプトにおいて、マルチビューCLIPスコアで相対的に54%の向上を達成し、複雑なテキスト記述との高い整合性を示した。
• 本手法は、明確に区別され、正しい色合いと空間的配置を持つオブジェクト（例：赤いリンゴとイエローバナナ）を生成でき、競合手法はそれらを一つの曇ったオブジェクトに融合してしまう。
• 定性的な結果から、CompoNeRFは、微妙な空間的関係を含む複雑なマルチオブジェクトシナリオにおいて、より文脈的に関連性があり視覚的に一貫性のあるシーンを生成することがわかった。
• フレームワークは効果的なシーン編集を可能にしている：分解後、NeRFは変更されたレイアウトやプロンプトを用いて再結合され、一貫性のある新しいシーンが生成可能である。
• 組み合わせプロセスにおいてグローバルガイダンスが欠落していると顕著なアーティファクトと不整合が生じるため、二段階監視の必要性が確認された。
• Qualitativeおよびquantitativeな評価において、本手法はLatent-NeRFおよびSJCを上回り、特にオブジェクトの同一性と空間的構造の保持において優れた性能を示した。

Figure 3 : Framework Overview . The CompoNeRF model unfolds in three stages: 1) Editing 3D scene, which initiates the process by structuring the scene with 3D boxes and textual prompts; 2) Scene rendering, which encapsulates the composition/recomposition process, facilitating the transformation of N