[論文レビュー] ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF

Jang-Ho Park, Gihyun Kwon+1 more|arXiv (Cornell University)|Oct 4, 2023

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

ED-NeRF は拡散モデルの潜在空間で NeRF を学習し、 refinement layer と Delta Denoising Score (DDS) をマスク付きで用いて、効率的かつターゲットを絞ったテキスト誘導編集を可能にする。

ABSTRACT

Recently, there has been a significant advancement in text-to-image diffusion models, leading to groundbreaking performance in 2D image generation. These advancements have been extended to 3D models, enabling the generation of novel 3D objects from textual descriptions. This has evolved into NeRF editing methods, which allow the manipulation of existing 3D objects through textual conditioning. However, existing NeRF editing techniques have faced limitations in their performance due to slow training speeds and the use of loss functions that do not adequately consider editing. To address this, here we present a novel 3D NeRF editing approach dubbed ED-NeRF by successfully embedding real-world scenes into the latent space of the latent diffusion model (LDM) through a unique refinement layer. This approach enables us to obtain a NeRF backbone that is not only faster but also more amenable to editing compared to traditional image space NeRF editing. Furthermore, we propose an improved loss function tailored for editing by migrating the delta denoising score (DDS) distillation loss, originally used in 2D image editing to the three-dimensional domain. This novel loss function surpasses the well-known score distillation sampling (SDS) loss in terms of suitability for editing purposes. Our experimental results demonstrate that ED-NeRF achieves faster editing speed while producing improved output quality compared to state-of-the-art 3D editing models.

研究の動機と目的

• 潜在拡散事前知識を用いて、編集しやすい高速な 3D NeRF モデルを実現する動機。
• 実世界のシーンを埋め込む潜在空間 NeRF トレーニング・パイプラインを開発し、編集を高速化する。
• 潜在空間のレンダリング品質を向上させる refinement layer を提案。
• 編集を導き、予期せぬ変化を抑制するマスク誘導型 Delta Denoising Score (DDS) 損失を導入。
• 最先端の 3D 編集手法と比較して編集速度と出力品質の改善を示す。

提案手法

• 現実世界の多視点画像を latent feature map にエンコードして RGB 色ではなく潜在特徴を予測することで Stable Diffusion の潜在空間で直接 NeRF を訓練する。
• Inter-pixel 相互作用を捉え新規ビュー合成を改善するため、ResNet / 自己注意ブロックを用いた refinement layer を追加。
• 潜在空間の再構成と refinement 損失を組み合わせた総合損失を用い、NeRF の出力と各ビューの潜在エンコードを整合させる。
• source prompt と target prompt の間のスコア差を計算して 3D に拡張し、編集領域をマスク付き DDS で局所編集する。
• ターゲット領域外の更新を制約し全体構造を保持するマスク付き再構成損失を組み込む。
• 任意: 編集済み latent を latent decoder でレンダリングして最終画像を得る。

Figure 1: Qualitative results of our method. ED-NeRF successfully edited 3D scenes with given target text prompts while preserving the original object structure and background regions.

実験結果

リサーチクエスチョン

• RQ1 ED-NeRF は従来の NeRF 編集法と比べて、実世界の 3D シーンのテキスト誘導編集を高速化し忠実度を向上させられるか？
• RQ2 refinement layer と DDS ベースの損失を用いた潜在空間での編集は、ビュー整合性と領域特異的編集を向上させるか？
• RQ3 マスク誘導型 DDS アプローチはターゲット領域へ編集を効果的に制約し、非ターゲット領域を保持できるか？
• RQ4 ED-NeRF の性能は、CLIP ベースおよび拡散ベースの NeRF 編集ベースラインと比べて定性的・知覚的指標でどうか？

主な発見

• ED-NeRF は最先端の3D編集モデルと比べて編集速度と出力品質を向上させる。
• refinement layer を備えた潜在空間 NeRF は編集後のビューにおける視点の一貫性と現実感をより良く維持する。
• マスク付き DDS と再構成項を用いると領域特異的編集と不要な変形の抑制が得られる。
• 定量的な結果では ED-NeRF が最高の CLIP Directional Score を達成し、ベースラインと比較して保持と視点整合性が強い。
• ユーザ研究では ED-NeRF がベースライン手法より知覚的に有利という評価を示した。

Figure 2: Overall pipeline of training and inference stage. (a) We optimize ED-NeRF in the latent space, supervised by source latent. Naively matching NeRF to a latent feature map during optimization can degrade view synthesis quality. (b) Inspired by the embedding process of Stable Diffusion, we in