[論文レビュー] NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors

Hao-Kang Liu, I‐Chao Shen+1 more|arXiv (Cornell University)|Jun 10, 2022

Advanced Vision and Imaging被引用数 14

ひとこと要約

本稿では、再訓練やカテゴリ固有のデータを必要とせずに、事前に訓練されたNeRFで表される3Dシーンから不要なオブジェクトを削除できる、自由形状NeRFインpaintingのためのフレームワークであるNeRF-Inを提案する。ユーザーが描いたマスクを複数のビューに転送し、RGB-Dプライアを用いてガイドすることで、複数のビューにわたる一括最適化により、最小限のユーザー作業で視覚的に妥当で幾何学的に整合性のある結果を実現する。

ABSTRACT

Though Neural Radiance Field (NeRF) demonstrates compelling novel view synthesis results, it is still unintuitive to edit a pre-trained NeRF because the neural network's parameters and the scene geometry/appearance are often not explicitly associated. In this paper, we introduce the first framework that enables users to remove unwanted objects or retouch undesired regions in a 3D scene represented by a pre-trained NeRF without any category-specific data and training. The user first draws a free-form mask to specify a region containing unwanted objects over a rendered view from the pre-trained NeRF. Our framework first transfers the user-provided mask to other rendered views and estimates guiding color and depth images within these transferred masked regions. Next, we formulate an optimization problem that jointly inpaints the image content in all masked regions across multiple views by updating the NeRF model's parameters. We demonstrate our framework on diverse scenes and show it obtained visual plausible and structurally consistent results across multiple views using shorter time and less user manual efforts.

研究の動機と目的

• 暗黙のパラメータ-外観および幾何の関連性により、編集が困難な事前に訓練されたNeRFを編集する課題に対処すること。
• ユーザーが1枚のレンダリングビューにマスクを描くことで、直感的で自由形状の3Dシーン編集を可能にすること。
• 追加の訓練やカテゴリ固有のデータを必要とせずに、複数のビューにわたる一貫性があり視覚的に妥当なインpaintingを実現すること。
• 1ビューごとのインpaintingによって生じる視覚的不整合を避けるとともに、ユーザーの作業負荷を低減すること。
• RGB-Dガイドを用いた事前に訓練されたNeRFの最適化が、シーンのリトーチングおよびオブジェクト除去に実現可能であることを示すこと。

提案手法

• ユーザーが事前に訓練されたNeRFシーンにおける不要な領域を指定するために、1枚のレンダリングビューに自由形状のマスクを描く。
• フレームワークは、動画像オブジェクトセグメンテーション手法を用いて、ユーザーが提供したマスクを複数のサンプリングされたビューに転送する。
• 事前に訓練された画像インpainting手法を用いてマスク領域内のガイド色画像を生成し、Bilateral Solverを用いて深度画像を生成する。
• すべてのマスク付きビューにわたる色と深度の再構成誤差を最小化するように、NeRFのニューラルネットワークパラメータを同時に最適化するための連合最適化問題を定式化する。
• 構造的整合性と視覚的妥当性を確保するために、色ガイド誤差（$L_{\text{color}}^{\text{all}}$）と深度ガイド誤差（$L_{\text{depth}}$）の両方を用いる。
• 他のビューからのインpaint済み画像を色ガイドとして使用しないことで、視覚的不整合を回避する。

実験結果

リサーチクエスチョン

• RQ1 事前に訓練されたNeRFを再訓練やカテゴリ固有のデータを必要とせずに、自由形状の領域で不要なオブジェクトを削除できるか？
• RQ2 ユーザーが提供したマスクを効果的に複数のビューに転送・利用することで、NeRF編集における3次元の一貫性を確保できるか？
• RQ3 RGB-Dプライアは、正確で視覚的に整合性のあるNeRFインpaintingを可能にするために果たす役割は何か？
• RQ4 色と深度のガイド誤差が、最適化されたNeRFにおける幾何的・外観的忠実度をどのように向上させるか？
• RQ5 ユーザー入力と計算コストを最小限に抑えながら、複数のビューにわたる一貫性を維持できるか？

主な発見

• 提案手法は、1つのユーザーが描いたマスクのみを用いて、複数のビューにわたる視覚的に妥当で構造的に整合性のあるインpainting結果を達成している。
• 色と深度の両方のガイド誤差を用いることで、結果が著しく向上し、色ノイズが除去され、平坦な領域の外観が保持される。
• 深度ガイド誤差のみで最適化すると、正しい幾何構造が得られるが、マスク領域外で色アーチファクトが生じる。
• 複数のインpaint済みビューを色ガイドに含めるのではなく、ユーザーが選択した1つのビューのみを色ガイドに用いることで、より安定した結果が得られる。
• フレームワークは、深度変動が大きい領域や複雑なシーンにおいても、オブジェクトを効果的に削除でき、一貫性を維持している。
• 高反射性または細い構造の領域では、初期ガイド素材のアーチファクトのため、手法が失敗する。これは、現在のガイド生成における制限を示している。