[論文レビュー] Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields

Xiangyu Wang, Jingsen Zhu+5 more|arXiv (Cornell University)|Jul 27, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

Seal-3D は、Neural Radiance Fields (NeRF) のためのインタラクティブでピクセル単位の編集システムを導入し、約 1 秒の即時プレビューと高精度な編集を実現する。2段階の教師-生徒 distillation フレームワークと、ユーザーの編集内容を元の NeRF 空間にマッピングするプロキシ関数を用いる。本手法は、ブラシ操作、ボックスの操作、色の編集など多様な編集タイプをサポートし、メッシュや複雑なプロキシを必要とせず、シェーディングと幾何的整合性を維持する。

ABSTRACT

With the popularity of implicit neural representations, or neural radiance fields (NeRF), there is a pressing need for editing methods to interact with the implicit 3D models for tasks like post-processing reconstructed scenes and 3D content creation. While previous works have explored NeRF editing from various perspectives, they are restricted in editing flexibility, quality, and speed, failing to offer direct editing response and instant preview. The key challenge is to conceive a locally editable neural representation that can directly reflect the editing instructions and update instantly. To bridge the gap, we propose a new interactive editing method and system for implicit representations, called Seal-3D, which allows users to edit NeRF models in a pixel-level and free manner with a wide range of NeRF-like backbone and preview the editing effects instantly. To achieve the effects, the challenges are addressed by our proposed proxy function mapping the editing instructions to the original space of NeRF models in the teacher model and a two-stage training strategy for the student model with local pretraining and global finetuning. A NeRF editing system is built to showcase various editing types. Our system can achieve compelling editing effects with an interactive speed of about 1 second.

研究の動機と目的

• implicit 3D 表現（例：NeRF）に対するインタラクティブで細分化された編集ツールの不足に対処すること。
• 非局所的 implicit ネットワークにおけるローカル編集の課題を克服すること。ここではパラメータの更新がグローバルな歪みを引き起こす。
• 中間プロキシ（例：メッシュ）に依存せず、直接的で使いやすい編集と即時の視覚フィードバックを可能にすること。
• 特に影や盛り上がりなどの複雑な表面効果を含む、視点一貫性のあるシェーディングと幾何的詳細を編集中に維持すること。
• 統一的でインタラクティブなシステム内で、幾何変形、色の塗り替え、オブジェクト移動などの多様な編集操作を同時に実行できること。

提案手法

• プロキシ関数が、編集空間におけるユーザーの編集指示（例：ブラシストロークやボックス）を、元の NeRF の 3D シーン空間にマッピングし、編集と下位のニューラルフィールドとの対応関係を確立する。
• 2段階のトレーニング戦略を採用：まず、固定された MLP と更新された位置埋め込みグリッドを用いて局所的プリトレーニングを行い、粗い即時プレビューを生成。次に、グローバル微調整により結果を精錬する。
• 教師-生徒 distillation を用い、教師モデルがプロキシ関数を通じて生徒モデルのパラメータ更新をコンテンツに適応した損失で指導する。
• 局所的注意を有する位置埋め込みグリッドを導入し、グローバルネットワークの破壊を防ぎながら局所的編集効果を実現する。
• 生徒モデルは、視点一貫性と正確な表面詳細再現を保証するため、光度損失と局所的幾何損失の組み合わせでトレーニングされる。
• GUI ベースのインターフェースに複数の編集ツール（ボックス、ブラシ、アンカー、色）を統合し、リアルタイムの相互作用とプレビューを可能にする。

実験結果

リサーチクエスチョン

• RQ1 NeRF 編集システムは、1 秒未塔のプレビューラティアンスを達成しつつ、幾何的・シェーディングの忠実性を維持できるか？
• RQ2 メッシュなどの明示的 3D ジオメトリに依存せず、ユーザーの編集指示（例：ブラシやボックス）を NeRF の implicit 3D 空間に効果的にマッピングするプロキシ関数は、どのように実現できるか？
• RQ3 局所的最適化とグローバル最適化のバランスを取ることで、即時プレビューのための高速収束と高品質な結果を両立するトレーニング戦略は何か？
• RQ4 非局所的 implicit 表現において、グローバルな歪みやアーティファクトを引き起こさずに、どの程度まで局所的編集を達成できるか？
• RQ5 本手法は、幾何変形、色の編集、オブジェクト移動などの多様な編集タイプを同時に、視点一貫的にサポートできるか？

主な発見

• Seal-3D は、1 秒程度のプレビュータイムを達成し、既存手法が数分から数時間もかかる収束に比べて顕著に高速である。
• 2段階トレーニング戦略（プリトレーニング + ファイナライズ）により、即時で粗い結果が得られ、高品質出力を得るための微調整が 2 分未塔で完了する。
• 影が盛り上がった表面にかかる影や盛り上がりといった複雑なシェーディング効果を維持し、NeuMesh や Liu et al. [20] などのベースラインに比べ、視覚的リアリズムとアーティファクト低減で優れている。
• 生徒ネットワークの結果は、浮遊物体のような視点に依存しないアーティファクトを低減する点で、教師モデルを上回ることが多く、効果的な distillation を示している。
• メッシュプロキシを必要とせず、オブジェクト移動、幾何変形、テクスチャ塗り替えなどの多様な編集操作をサポートし、ユーザーフレンドリーさとインタラクティブ性を向上させている。
• アブレーションスタディにより、プリトレーニング時に MLP を固定することでグローバルな劣化を防ぎ、2段階戦略が局所的フィッティングとグローバル整合性の両立に効果的であることが確認された。