[論文レビュー] Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions

Ayaan Haque, Matthew Tancik+3 more|arXiv (Cornell University)|Mar 22, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

Instruct-NeRF2NeRF は、InstructPix2Pix を用いて入力画像を段階的に改善し、NeRF を再訓練することで、自然言語による指示による 3D レンダリングの編集を可能にし、視点間で一貫性があり高品質な編集を実現します。本手法は、オブジェクトの交換やスタイル転送など多様な編集を可能にしつつ、3D の一貫性を維持します。

ABSTRACT

We propose a method for editing NeRF scenes with text-instructions. Given a NeRF of a scene and the collection of images used to reconstruct it, our method uses an image-conditioned diffusion model (InstructPix2Pix) to iteratively edit the input images while optimizing the underlying scene, resulting in an optimized 3D scene that respects the edit instruction. We demonstrate that our proposed method is able to edit large-scale, real-world scenes, and is able to accomplish more realistic, targeted edits than prior work.

研究の動機と目的

• 専門的な 3D 編集ツールや専門知識を必要とせず、事前にキャプチャされた NeRF レンダリングに対して直感的かつテキストベースの編集を可能にすること。
• 2D 拡散モデルに基づく編集における 3D の一貫性の欠如という課題に対処するため、反復的画像編集と NeRF 再訓練を統合すること。
• 事前学習済みのビジョン・ランゲージモデルと拡散モデルを活用することで、自然言語による制御を可能にし、3D 編集のアクセス性を拡大すること。
• 指示ベースの編集が、現実世界の大規模なシーンにおいても現実的で的確かつ一貫性のある 3D レンダリングの変更を実現できることを示すこと。

提案手法

• 各訓練視点からレンダリングされた画像に対して、画像条件付き拡散モデルである InstructPix2Pix を用いて編集を行う。
• 反復的データセット更新（Iterative DU）戦略を採用：レンダリングされた画像を編集し、元の訓練データセットに置き換え、NeRF を再訓練する。
• 現在の NeRF からビューをレンダリングし、InstructPix2Pix を用いてテキスト指示に基づき画像を編集し、編集済み画像で NeRF を更新する。
• すべての視点にわたる NeRF 最適化プロセスに編集が伝搬されることで、3D の一貫性を維持する。
• 編集済み画像を段階的に用いて NeRF を徐々に改善する学習ループを採用し、幾何学的および外観的一致性を保つ。
• 大規模な 3D 訓練データを必要としないように、事前学習済みの拡散モデルを活用して形状および外観の事前知識を抽出する。

実験結果

リサーチクエスチョン

• RQ1 テキストベースの指示を用いて、明示的な 3D 編集ツールを用いずに、現実世界の NeRF レンダリングに対して一貫性があり 3D を意識した編集が可能か？
• RQ2 反復的画像編集と拡散モデルを用いた手法と、スコア分散抽出（SDS）を用いたエンドツーエンド最適化とを比較した場合、3D の一貫性と編集品質の面でどちらが優れているか？
• RQ3 指示ベースの編集は、オブジェクトの交換、テクスチャの変更、グローバルなスタイル転送といった複雑な編集をどの程度処理できるか？
• RQ4 拡散モデルが一貫性のある 2D 編集を生成できない場合、その手法の失敗モードはどのようなものか？
• RQ5 NeRF-Art や CLIP によるガイド付き編集といった先行手法と比較して、本手法は多様で大規模な現実世界のシーンにおいてどの程度の性能を示すか？

主な発見

• 本手法は、現実世界の NeRF レンダリングに対して、オブジェクトの交換、テクスチャの変更、グローバルなスタイル転送といった広範な編集を、高い 3D の一貫性を保ちながら実現できた。
• 定量的評価では、テキスト指示と 3D 編集との整合性がベースラインより向上しており、方向性類似度指標により、新規視点間でも強い一貫性が示された。
• 反復的データセット更新（Iterative DU）戦略は、画像条件なしで動作するため不安定でぼやけた結果を生じる、ナチュラルな SDS ベース最適化を上回る性能を示した。
• StableDiffusion を使用した場合と比較して、InstructPix2Pix を使用することで 3D の一貫性が著しく向上した。後者は画像条件なしのため、ぼやけた不一致のある出力を生成する。
• 本手法は InstructPix2Pix の制限を引き継いでおり、特に空の領域や複雑な領域では、オブジェクトの追加・削除が一貫してできないことがある。
• 失敗事例には、2D 編集の失敗（例：InstructPix2Pix が帽子を追加できない）や、不一致のある 2D 編集が 3D に伝搬されるものがあり、本手法が 2D モデルの信頼性に依存していることが示された。