[論文レビュー] Editing Conditional Radiance Fields

Steven Liu, Xiuming Zhang+4 more|arXiv (Cornell University)|May 13, 2021

3D Shape Modeling and Analysis参考文献 73被引用数 5

ひとこと要約

本論文は、オブジェクトカテゴリで訓練された条件付きレディアンスフィールド（神経的シーン表現）を、スパースな2Dユーザーのスクラッチを3Dに伝搬させることで編集する手法を紹介する。これにより、新規ビューにおいて一貫性のある色および形状の編集が可能になる。共有形状ブランチと選択的ネットワーク更新を活用し、関連するネットワークコンponentsのみを効率的に変更することで、最小限の計算量で高精細な編集を実現するとともに、オブジェクト構造を保持する。

ABSTRACT

A neural radiance field (NeRF) is a scene model supporting high-quality view synthesis, optimized per scene. In this paper, we explore enabling user editing of a category-level NeRF - also known as a conditional radiance field - trained on a shape category. Specifically, we introduce a method for propagating coarse 2D user scribbles to the 3D space, to modify the color or shape of a local region. First, we propose a conditional radiance field that incorporates new modular network components, including a shape branch that is shared across object instances. Observing multiple instances of the same category, our model learns underlying part semantics without any supervision, thereby allowing the propagation of coarse 2D user scribbles to the entire 3D region (e.g., chair seat). Next, we propose a hybrid network update strategy that targets specific network components, which balances efficiency and accuracy. During user interaction, we formulate an optimization problem that both satisfies the user's constraints and preserves the original object structure. We demonstrate our approach on various editing tasks over three shape datasets and show that it outperforms prior neural editing approaches. Finally, we edit the appearance and shape of a real photograph and show that the edit propagates to extrapolated novel views.

研究の動機と目的

• スパースな2Dユーザー入力を用いて、インタラクティブかつ高精細に3Dシーン表現を編集することを可能にすること。
• implicitな神経的表現における粗い2D編集を、完全な3D領域に伝搬する課題に対処すること。
• 形状と色の編集を制御するネットワークコンponentsを同定し、効率的な最適化を実現すること。
• ユーザーが指定した編集を満たしつつ、元のオブジェクト構造を保持すること。
• 実写写真および合成データセットにおいて、一貫性があり視点に依存しない編集を示すこと。

提案手法

• オブジェクトインスタンス間で共有される形状ブランチを備えた条件付きレディアンスフィールドを導入し、教師なしでパーツレベルの意味を学習すること。
• 形状および色の編集を担当する後段の層のみを効率的に最適化するハイブリッドネットワーク更新戦略を提案すること。
• 最適化中に元のオブジェクト構造を保持しつつ、ユーザーの制約を強制する編集損失を設計すること。
• 2段階のプロセスを採用する：まず、共有形状事前知識を用いて2Dスクラッチを3Dに伝搬する。次に、ターゲットネットワークコンponentsを最適化してユーザーの編集に一致させる。
• アルファ合成とニューラルレンダリングを用いて、新規視点において一貫性のある結果を保証すること。
• 合成データおよび実写画像の両方の編集に本手法を適用し、未学習の視点への一般化を示すこと。

実験結果

リサーチクエスチョン

• RQ1 明示的な3Dの監視がなくても、スパースな2Dユーザーのスクラッチを神経的レディアンスフィールド内で3D領域に効果的に伝搬させることは可能か？
• RQ2 条件付きレディアンスフィールドネットワークのどのコンponentsが形状編集と色編集を制御しており、それらは独立して更新可能か？
• RQ3 条件付きレディアンスフィールドにおけるカテゴリレベルの事前知識は、新規ビューにおいて一貫性があり視点に依存しない編集を可能にするか？
• RQ4 元のオブジェクト構造を保持し、アーチファクトを避けるために、編集をどのように効率化できるか？
• RQ5 実写写真に適用した編集は、外挿された新規ビューにも一般化可能か？

主な発見

• 本手法は2Dスクラッチを完全な3D領域に効果的に伝搬させ、レンダリングされたすべてのビューで一貫性のある色および形状の編集を実現した。
• 形状または色の編集にのみ後段のネットワーク層を最適化することで、フルネットワークの微調整と比較して顕著な高速化を達成しつつ、高い忠実度を実現した。
• 共有形状ブランチにより、明示的なパーツアノテーションがなくても、同じカテゴリの未学習部分へのゼロショット一般化が可能となった。
• PhotoShapesやCARLAカーを含む3つのデータセットにおいて、定量的および定性的な評価で先行するニューラル編集手法を上回った。
• 実写写真に適用した編集は、新規ビューにおいて一貫してレンダリングされ、学習データを超えた一般化を示した。
• 視点再構築結果から、1インスタンスあたり1枚の画像での学習でも、ほぼ完璧な一貫性と深度推定が得られた。