[論文レビュー] NeRF-Editing: Geometry Editing of Neural Radiance Fields

Yu-Jie Yuan, Yang-Tian Sun+4 more|arXiv (Cornell University)|May 10, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、再訓練を必要とせずにNeural Radiance Fields (NeRF) 内の幾何的形状変形をユーザーが制御できる手法、NeRF-Editing を提案する。明示的な三角形メッシュと暗黙的なNeRF表現との間の対応関係を確立することで、ユーザーが標準的なツールを用いてメッシュを変形できる。その後、変形は四面体メッシュを介して伝播され、カメラの光線を曲げることで、編集されたシーンの写真のようにリアルな新規ビュー合成を高精度で実現する。

ABSTRACT

Implicit neural rendering, especially Neural Radiance Field (NeRF), has shown great potential in novel view synthesis of a scene. However, current NeRF-based methods cannot enable users to perform user-controlled shape deformation in the scene. While existing works have proposed some approaches to modify the radiance field according to the user's constraints, the modification is limited to color editing or object translation and rotation. In this paper, we propose a method that allows users to perform controllable shape deformation on the implicit representation of the scene, and synthesizes the novel view images of the edited scene without re-training the network. Specifically, we establish a correspondence between the extracted explicit mesh representation and the implicit neural representation of the target scene. Users can first utilize well-developed mesh-based deformation methods to deform the mesh representation of the scene. Our method then utilizes user edits from the mesh representation to bend the camera rays by introducing a tetrahedra mesh as a proxy, obtaining the rendering results of the edited scene. Extensive experiments demonstrate that our framework can achieve ideal editing results not only on synthetic data, but also on real scenes captured by users.

研究の動機と目的

• 再訓練を必要とせずに、直接編集が難しい暗黙的NeRF表現におけるユーザー制御による幾何的形状変形を可能にすること。
• 明示的メッシュ表現の直感的な編集と暗黙的NeRFの写真のようにリアルなレンダリングの間のギャップを埋めること。
• 単なる物体の移動や色の編集にとどまらず、動物や人工物のような複雑な形状を含む一般のシーン編集を可能にすること。
• 再訓練なしに元のNeRFのみを用いて、編集されたシーンの高品質な新規ビュー合成を実現すること。

提案手法

• 直感的なユーザー編集を可能にするために、事前に訓練済みのNeRFから明示的な三角形メッシュを抽出する。
• アスリジッドアズプローブやフリー・フォーム変形などの既存のメッシュ変形技術を用いて、三角形メッシュを変形する。
• 変形された三角形メッシュを取り巻くように四面体メッシュを構築し、空間的変形プロキシとして機能させる。
• メッシュ変形を四面体メッシュに伝播させ、局所的な幾何的変化を符号化する離散的変形場を生成する。
• 四面体頂点の補間を用いて、離散的変形場を連続的変形場に変換し、光線の曲げに利用する。
• レンダリング中に連続的変形場に従ってカメラの光線を曲げ、最終的な画像がユーザーの幾何的編集を正確に反映するようにする。

実験結果

リサーチクエスチョン

• RQ1 明示的メッシュ表現からのユーザー制御による幾何的形状変形を、暗黙的NeRF表現に効果的に転送できるか？
• RQ2 三角形メッシュの変形を、NeRFにおける光線追跡プロセスに正確に伝播できるか？
• RQ3 メッシュ品質と変形戦略が、最終レンダリング画像の視覚的忠実度に与える影響は何か？
• RQ4 本手法は、NeRFネットワークの再訓練なしに、編集済みシーンの写真のようにリアルな新規ビュー合成を達成できるか？

主な発見

• 四面体メッシュ上で直接編集するのと比較して、三角形メッシュ上で編集した場合に著しく優れた結果が得られ、SSIM は 0.975 対 0.934、LPIPS は 0.024 対 0.049、PSNR は 29.62 対 24.37 であった。
• 本手法は合成シーンおよび現実世界のシーンの両方で高品質な編集を実現し、人間、動物、人工物など多様なオブジェクトタイプにわたる一般化性を示した。
• メッシュ品質は最終結果にほとんど影響せず、NeRF や NeuS から得たメッシュの両方とも視覚的に妥当な出力を得ており、NeuS がわずかに優れた性能を示した。
• 本手法は再訓練なしに制御可能な幾何的編集を可能にし、NeRF の写真のようにリアルなレンダリング品質を維持した。
• 照明や外観が幾何的変更と同期されていない場合に失敗が生じる。例えば、変形後に影の部分が暗いまま残るなど、再照明統合の必要性が示された。