[논문 리뷰] CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout

Haotian Bai, Lyu, Yuanhuiyi외 5명|arXiv (Cornell University)|2023. 03. 24.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

CompoNeRF는 복잡한 프롬프트를 개별 NeRF와 하위 프롬프트, 편집 가능한 3D 레이아웃으로 분해하여 이중 수준(개별 객체 중심 및 전반적)의 텍스트 가이던스와 조합 모듈을 사용해 일致성을 확보하는 텍스트 유도 다중 객체 3D 시나리오 생성 프레임워크를 소개한다. 기존 방법 대비 다중 시점 CLIP 점수에서 54% 향상되었으며, 고해상도, 편집 가능, 재조합 가능한 3D 시나리오를 가능하게 한다.

ABSTRACT

Text-to-3D form plays a crucial role in creating editable 3D scenes for AR/VR. Recent advances have shown promise in merging neural radiance fields (NeRFs) with pre-trained diffusion models for text-to-3D object generation. However, one enduring challenge is their inadequate capability to accurately parse and regenerate consistent multi-object environments. Specifically, these models encounter difficulties in accurately representing quantity and style prompted by multi-object texts, often resulting in a collapse of the rendering fidelity that fails to match the semantic intricacies. Moreover, amalgamating these elements into a coherent 3D scene is a substantial challenge, stemming from generic distribution inherent in diffusion models. To tackle the issue of 'guidance collapse' and further enhance scene consistency, we propose a novel framework, dubbed CompoNeRF, by integrating an editable 3D scene layout with object-specific and scene-wide guidance mechanisms. It initiates by interpreting a complex text into the layout populated with multiple NeRFs, each paired with a corresponding subtext prompt for precise object depiction. Next, a tailored composition module seamlessly blends these NeRFs, promoting consistency, while the dual-level text guidance reduces ambiguity and boosts accuracy. Noticeably, our composition design permits decomposition. This enables flexible scene editing and recomposition into new scenes based on the edited layout or text prompts. Utilizing the open-source Stable Diffusion model, CompoNeRF generates multi-object scenes with high fidelity. Remarkably, our framework achieves up to a extbf{54\%} improvement by the multi-view CLIP score metric. Our user study indicates that our method has significantly improved semantic accuracy, multi-view consistency, and individual recognizability for multi-object scene generation.

연구 동기 및 목표

• 다중 객체 텍스트에서 3D 생성 시 발생하는 '가이던스 붕괴' 문제를 해결하기 위해, 확산 모델이 객체 정체성과 공간 배치를 유지하지 못하는 문제를 해결한다.
• 희소한 다중 객체 텍스트 프롬프트로부터 복잡한 다중 객체 3D 시나리오의 렌더링 일致성과 해상도를 향상시키기 위해 노력한다.
• 공간 레이아웃 제어 기능을 갖춘 재사용 가능하고 편집 가능한 구성 요소로 NeRF를 분리함으로써 영역 편집 및 재조합의 유연성을 보장한다.
• 단일 네트워크 NeRF와 일반적인 확산 가이던스의 한계를 극복하기 위해 개별 객체 중심 및 전반적 텍스트 감독을 도입한다.
• 조합적 NeRF와 편집 가능한 3D 레이아웃이 다중 객체 시나리오의 일관성과 의미 정확도를 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 프레임워크는 다중 객체 텍스트 프롬프트를 국소화된 NeRF 집합으로 분석하며, 각 NeRF는 공간 경계 상자와 정밀한 객체 생성을 위한 하위 프롬프트와 연결된다.
• 각 NeRF는 개별 객체 중심의 하위 프롬프트와 전반적 텍스트 프롬프트에 조건을 부여하여 의미 모호성을 줄이고 해상도를 향상시키는 이중 수준의 텍스트 가이던스를 제공한다.
• 전용 조합 모듈은 학습된 블렌딩 가중치를 사용해 개별 NeRF를 블렌딩하여 공간 일관성을 확보하고 객체 경계에서의 잡음 최소화를 달성한다.
• 3D 시나리오 레이아웃은 편집 가능하여 사용자가 객체 위치를 수정하거나 구성 요소를 추가하거나 제거하고 캐시된 NeRF를 사용해 시나리오를 재조합할 수 있다.
• 3D 생성에 Stable Diffusion 모델을 활용하며, 가시화 가능한 렌더링 파이프라인을 통해 NeRF를 엔드 투 엔드로 훈련한다.
• 시스템은 NeRF 분해 및 재조합을 지원하여 기존에 훈련된 구성 요소를 새로운 시나리오에서 수정된 레이아웃이나 프롬프트로 재사용할 수 있다.

Figure 2 : The guidance collapse issue & Our solutions . (a) Generation of multi-level scene utilizing the frozen Stable Diffusion. Instances of guidance collapse are observed when using global text ( $gt$ ). (b) Our proposed strategies for multi-object scene composition align with Eq. 2 . The areas

실험 결과

연구 질문

• RQ1 개별 객체 중심 및 전반적 텍스트 가이던스의 이중 수준 가이던스가 다중 객체 3D 시나리오 생성에서 가이던스 붕괴 문제를 효과적으로 완화할 수 있는가?
• RQ2 편집 가능한 3D 레이아웃을 갖춘 조합적 NeRF 프레임워크가 텍스트에서 고해상도, 일관성 있는 복잡한 다중 객체 시나리오 렌더링을 가능하게 할 수 있는가?
• RQ3 NeRF 분해 및 재조합이 시나리오 편집의灵活性와 재사용성에 얼마나 기여하는가?
• RQ4 제안된 조합 모듈은 단순한 NeRF 블렌딩 대비 전반적 시나리오 일관성에 어떻게 기여하는가?
• RQ5 공간 레이아웃 제어와 하위 프롬프트의 통합이 프롬프트와의 일치도 향상에 측정 가능한 기여를 하는가?

주요 결과

• CompoNeRF는 도전적인 Case 5 프롬프트에서 다중 시점 CLIP 점수에서 기존 방법 대비 54% 상대적 향상을 기록하여 복잡한 텍스트 기술과의 뛰어난 일치도를 입증한다.
• 해당 방법은 빨간 사과와 노란 바나나와 같이 구분되며 정확한 색상과 공간 배치를 갖춘 객체를 성공적으로 생성하며, 경쟁 방법은 이를 하나의 구분 불가능한 객체로 융합한다.
• 정성적 결과에서는 CompoNeRF가 특히 미묘한 공간 관계를 포함한 복잡한 다중 객체 시나리오에서 더 맥락에 부합하고 시각적으로 일관된 시나리오를 생성함을 보여준다.
• 프레임워크는 효과적인 시나리오 편집을 가능하게 하며, 분해 후 NeRF는 수정된 레이아웃이나 프롬프트로 재결합되어 새로운 일관성 있는 시나리오를 생성할 수 있다.
• 조합 과정에서 전반적 가이던스가 없을 경우 뚜렷한 잡음과 일관성 없는 현상이 발생함을 확인하여 이중 수준 감독의 必요성을 입증한다.
• Qualitative 및 quantitative 평가에서 Latent-NeRF와 SJC를 모두 압도하며, 특히 객체 정체성과 공간 구조의 유지에 뛰어난 성능을 보인다.

Figure 3 : Framework Overview . The CompoNeRF model unfolds in three stages: 1) Editing 3D scene, which initiates the process by structuring the scene with 3D boxes and textual prompts; 2) Scene rendering, which encapsulates the composition/recomposition process, facilitating the transformation of N