[論文レビュー] Dyn-E: Local Appearance Editing of Dynamic Neural Radiance Fields

Shangzhan Zhang, Sida Peng+6 more|arXiv (Cornell University)|Jul 24, 2023

Advanced Vision and ImagingComputer Science被引用数 3

ひとこと要約

この論文は、トレーニング動画の1枚の2Dフレームを編集することで、動的ニューラルレイトランスフィールド（NeRF）におけるローカルな外観編集を可能にする新しいフレームワーク、Dyn-Eを提案する。編集された領域を3Dテクスチャーマッシュにアップロードし、可逆なモーショングラフネットワークを用いて時系列にわたって変形させ、ボリュームレンダリングにより元のNeRFと統合することで、過学習や編集されていない領域の品質低下を伴わずに空間的・時間的に一貫性のある編集を実現する。

ABSTRACT

Recently, the editing of neural radiance fields (NeRFs) has gained considerable attention, but most prior works focus on static scenes while research on the appearance editing of dynamic scenes is relatively lacking. In this paper, we propose a novel framework to edit the local appearance of dynamic NeRFs by manipulating pixels in a single frame of training video. Specifically, to locally edit the appearance of dynamic NeRFs while preserving unedited regions, we introduce a local surface representation of the edited region, which can be inserted into and rendered along with the original NeRF and warped to arbitrary other frames through a learned invertible motion representation network. By employing our method, users without professional expertise can easily add desired content to the appearance of a dynamic scene. We extensively evaluate our approach on various scenes and show that our approach achieves spatially and temporally consistent editing results. Notably, our approach is versatile and applicable to different variants of dynamic NeRF representations.

研究の動機と目的

• 動的3Dシーンにおける細分化されたローカル外観編集に関する研究の不足に取り組むこと。特に、専門的スキルを持たないユーザーに対しても対応すること。
• トレーニング動画の1枚の2Dフレームを編集するだけで、動的NeRFの外観を編集できるようにすること。
• 編集結果の空間的・時間的整合性を保ちつつ、編集されていない領域の品質を損なわないこと。
• さまざまな動的NeRF表現形式と互換性を持つ汎用的な編集フレームワークを設計すること。
• 過学習や誤差の蓄積を防ぎながら、1フレームの編集を時系列にわたって一貫して伝搬する課題を克服すること。

提案手法

• 元の動的NeRFから得られる深度マップを用いて、編集された2D領域を3Dテクスチャーマッシュにアップロードする。
• マッシュを、ボリュームレンダリングによって元のNeRFと併せてレンダリング可能な局所的な密度場および色場に変換する。
• シーンフロー場を監視信号として用い、局所的な表面を時系列にわたって変形する可逆なモーション表現ネットワークを学習する。
• 変形の正確性と時間的一致性を向上させるために、光度的およびラプラシアン平滑化正則化を導入する。
• ボリュームレンダリング処理において、局所的な表面と元のNeRFを統合することで、隠蔽関係を正しく処理する。
• フレームワークはプラグアンドプレイであり、HyperNeRF、DynamicNeRF、Neural Bodyなどの複数の動的NeRFバージョンと互換性を持つ。

Figure 1. Our proposed approach allows users to locally edit the appearance of a dynamic 3D scene in a user-friendly manner. Given training videos (a) and the reconstructed dynamic NeRF (b) as input, users can edit the appearance of the dynamic NeRF (d) by manipulating pixels in a single image (c).

実験結果

リサーチクエスチョン

• RQ1 専門的介入を要せず、1枚の2D画像編集によって動的NeRFにおけるローカル外観編集を実現できるか？
• RQ2 編集内容を時系列にわたって一貫して伝搬させながら、元のシーン構造を保ちながら編集できるか？
• RQ3 3D局所表面表現が、外観編集における空間的・時間的一致性を実現するために果たす役割は何か？
• RQ4 可逆なモーションネットワークの使用は、標準的なワープや直接的なファインチューニングと比較して、誤差蓄積とレンダリング品質にどのように影響するか？
• RQ5 提案手法は、さまざまな動的NeRFアーキテクチャにどの程度一般化可能か？

主な発見

• 提案手法は、定量的評価において、時間的一致性と正確性に優れた最先端の性能を達成した。
• アブレーションスタディにより、光度的または平滑化正則化を除去するとPCK-Tが著しく低下し、EPEが上昇することが確認され、これらの正則化の有効性が裏付けられた。
• サイクル整合性を持つ可逆ネットワークにより、誤差蓄積を低減することで、『SFワープ』や『Ours w/o Inv』といったベースラインを上回った。
• 2Dオプティカルフロー制約に比べ、シーンフロー場を監視信号として用いることで性能が向上し、3Dモーション監視の利点が示された。
• 隠蔽処理は不可欠である：『Ours w/o Occ』では、物体の背後に見えるアーチファクトが生じ、誤った結果が得られた。
• 提案手法は、HyperNeRF、DynamicNeRF、Neural Bodyを含む複数の動的NeRF表現形式において、多様で効果的であることが確認され、汎用性が裏付けられた。

Figure 2. Illustration of our pipeline. Given a single edited image and a dynamic NeRF, we first lift the edited region to the 3D space through rendered depth maps to form a textured mesh. Then, we train an invertible network to propagate the textured mesh to other frames. Finally, we combine the te