[논문 리뷰] ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF

Jang-Ho Park, Gihyun Kwon외 1명|arXiv (Cornell University)|2023. 10. 04.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

ED-NeRF는 확산 모델의 잠재 공간에서 NeRF를 학습시켜 실제 세계의 3D 장면을 편집하며, 효율적이고 표적화된 텍스트 지시 편집을 가능하게 하는 보정 레이어와 Delta Denoising Score (DDS)를 마스크와 함께 사용합니다.

ABSTRACT

Recently, there has been a significant advancement in text-to-image diffusion models, leading to groundbreaking performance in 2D image generation. These advancements have been extended to 3D models, enabling the generation of novel 3D objects from textual descriptions. This has evolved into NeRF editing methods, which allow the manipulation of existing 3D objects through textual conditioning. However, existing NeRF editing techniques have faced limitations in their performance due to slow training speeds and the use of loss functions that do not adequately consider editing. To address this, here we present a novel 3D NeRF editing approach dubbed ED-NeRF by successfully embedding real-world scenes into the latent space of the latent diffusion model (LDM) through a unique refinement layer. This approach enables us to obtain a NeRF backbone that is not only faster but also more amenable to editing compared to traditional image space NeRF editing. Furthermore, we propose an improved loss function tailored for editing by migrating the delta denoising score (DDS) distillation loss, originally used in 2D image editing to the three-dimensional domain. This novel loss function surpasses the well-known score distillation sampling (SDS) loss in terms of suitability for editing purposes. Our experimental results demonstrate that ED-NeRF achieves faster editing speed while producing improved output quality compared to state-of-the-art 3D editing models.

연구 동기 및 목표

• 잠재 확산 prior를 사용하여 빠르고 편집 친화적인 3D NeRF 모델을 가능하게 하는 동기 부여.
• 더 빠른 편집을 위해 실제 세계 장면을 임베드하는 잠재 공간 NeRF 학습 파이프라인 개발.
• 잠재 공간 렌더링 품질을 향상시키기 위한 보정 레이어 제안.
• 편집을 안내하고 의도치 않은 변화를 억제하기 위한 마스크 기반 Delta Denoising Score (DDS) 손실 도입.
• 최첨단 3D 편집 방법에 비해 향상된 편집 속도 및 출력 품질을 시연.

제안 방법

• 실세계 다중 뷰 이미지를 잠재 특징 맵으로 인코딩하고 RGB 색상 대신 잠재 특징을 예측하여 Stable Diffusion의 잠재 공간에서 직접 NeRF를 학습합니다.
• 상호 픽셀 간 상호작용을 포착하고 새로운 시점 합성을 향상시키기 위해 ResNet/self-attention 블록으로 보정 레이어를 추가합니다.
• 잠재 공간 재구성과 보정 손실을 결합한 총 손실을 사용하여 시점 간 NeRF 출력을 잠재 인코딩과 일치시킵니다.
• 소스 프롬프트와 타깃 프롬프트 간의 점수 차이를 계산하고 마스크된 DDS를 지역 편집에 적용하여 3D로 확장합니다.
• 타깃 영역 밖의 업데이트를 제약하고 전체 구조를 보존하기 위해 마스크된 재구성 손실을 도입합니다.
• 선택사항: 잠재 디코더를 통해 편집된 잠재를 렌더링하여 최종 이미지를 얻습니다.

Figure 1: Qualitative results of our method. ED-NeRF successfully edited 3D scenes with given target text prompts while preserving the original object structure and background regions.

실험 결과

연구 질문

• RQ1 이전 NeRF 편집 방법과 비교하여 ED-NeRF가 실제 세계 3D 장면에 대한 텍스트 가이드 편집의 속도와 충실도를 가속화하고 향상시킬 수 있을까요?
• RQ2 보정 레이어와 DDS 기반 손실로 잠재 공간에서 편집하는 것이 시점 일관성과 영역별 편집을 더 잘 만들어낼까요?
• RQ3 마스크 가이드 DDS 접근법이 타깃 영역으로의 편집을 효과적으로 제약하고 비타깃 영역을 보존할 수 있을까요?
• RQ4 정성적 및 지각적 지표에서 CLIP 기반 및 확산 기반 NeRF 편집 기준선에 비해 ED-NeRF의 성능은 어떠한가요?

주요 결과

• ED-NeRF는 최첨단 3D 편집 모델 대비 더 빠른 편집 속도와 향상된 출력 품질을 달성합니다.
• 보정 레이어가 있는 잠재 공간 NeRF가 편집된 시점에서 시점 일관성과 현실감을 더 잘 보존합니다.
• 재구성 항을 갖춘 마스크 DDS가 비대상 영역 변형 감소로 영역별 편집을 제공합니다.
• 정량적 결과는 ED-NeRF가 baselines에 비해 가장 높은 CLIP 방향 점수와 강한 보존 및 시점 일관성을 달성함을 보여줍니다.
• 사용자 연구는 ED-NeRF가 기준 방법보다 지각적으로 선호된다는 것을 시사합니다.

Figure 2: Overall pipeline of training and inference stage. (a) We optimize ED-NeRF in the latent space, supervised by source latent. Naively matching NeRF to a latent feature map during optimization can degrade view synthesis quality. (b) Inspired by the embedding process of Stable Diffusion, we in