[論文レビュー] ViCA-NeRF: View-Consistency-Aware 3D Editing of Neural Radiance Fields

Jiahua Dong, Yu-Xiong Wang|arXiv (Cornell University)|Feb 1, 2024

Advanced Neural Network Applications被引用数 7

ひとこと要約

ViCA-NeRF は、視点一貫性を意識した NeRF のテキスト指示による3D編集の初の手法で、幾何学と学習正則化を用いて編集をビュー間に伝搬し、より速く、より一貫した結果を達成します。

ABSTRACT

We introduce ViCA-NeRF, the first view-consistency-aware method for 3D editing with text instructions. In addition to the implicit neural radiance field (NeRF) modeling, our key insight is to exploit two sources of regularization that explicitly propagate the editing information across different views, thus ensuring multi-view consistency. For geometric regularization, we leverage the depth information derived from NeRF to establish image correspondences between different views. For learned regularization, we align the latent codes in the 2D diffusion model between edited and unedited images, enabling us to edit key views and propagate the update throughout the entire scene. Incorporating these two strategies, our ViCA-NeRF operates in two stages. In the initial stage, we blend edits from different views to create a preliminary 3D edit. This is followed by a second stage of NeRF training, dedicated to further refining the scene's appearance. Experimental results demonstrate that ViCA-NeRF provides more flexible, efficient (3 times faster) editing with higher levels of consistency and details, compared with the state of the art. Our code is publicly available.

研究の動機と目的

• テキスト指示を用いた NeRF のマルチビュー一貫性のある3D編集を動機づけ、可能にする。
• 深度ガイド付き幾何正則化を活用して編集をビュー間に伝搬させる。
• 拡散モデルにおける潜在コード整合性を利用して編集を安定化・洗練させる。
• 2 段階の編集パイプライン：ミックスアップとブレンディングを用いた初期キービュー編集、次いで NeRF 訓練。
• NeRF の最適化を拡散ベースのデータセット更新から分離して効率を向上させる。

提案手法

• Instruct-Pix2Pix を用いてキービューを定義し、テキスト指示編集をこれらのビューで実行する。
• 深度ガイド付き射影と画像対応関係を用いて他のビューへ編集を伝搬する。
• ミックスアップアーティファクトを清浄化するためのブレンディング補正モデルを導入し、2 回の Instruct-Pix2Pix パスと平均化された潜在コードで処理を行う。
• 全 NeRF 訓練前に編集を効率的にスケールさせるウォームアップ戦略を組み込む。
• NeRF 最適化後に一貫性を高めるためのポスト補正を任意で適用する。

実験結果

リサーチクエスチョン

• RQ1 キービューのサブセットに対して行った編集を、深度ガイド付き対応によって全てのビューへ一貫して伝搬できるか。
• RQ2 編集済み画像と未編集画像の間で2D拡散モデルの潜在コードを整合させると、3D 一貫性と詳細が向上するか。
• RQ3 幾何正則化と学習正則化は、従来法と比較して編集の効率と一貫性をどう改善するか。
• RQ4 ウォームアップおよびポスト補正戦略が編集の効率と最終視覚品質に与える影響は何か。

主な発見

• ViCA-NeRF は、最先端ベースラインよりも高いマルチビュー一貫性とディテールを達成する。
• 報告された設定で Instruct-NeRF2NeRF より約 3 倍高速である。
• 編集はキービューの編集で制御でき、全体シーンへ伝搬する。
• 深度ガイド付き射影とブレンディング補正により深度ノイズと射影アーティファクトを抑制する。
• ウォームアップとポスト補正戦略は編集の効率と最終外観を改善する。