[論文レビュー] Interactive Segment Anything NeRF with Feature Imitation

Xiaokang Chen, Jiaxiang Tang+3 more|arXiv (Cornell University)|May 25, 2023

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

本論文はセマンティック特徴模倣を導入し、2D知覚モデルの意味情報をNeRFに注入して、軽量デコーダとリアルタイム対話を可能とするゼロショット3Dセグメンテーションを実現し、SAMを用いてセグメンテーションを最大16倍高速化する。

ABSTRACT

This paper investigates the potential of enhancing Neural Radiance Fields (NeRF) with semantics to expand their applications. Although NeRF has been proven useful in real-world applications like VR and digital creation, the lack of semantics hinders interaction with objects in complex scenes. We propose to imitate the backbone feature of off-the-shelf perception models to achieve zero-shot semantic segmentation with NeRF. Our framework reformulates the segmentation process by directly rendering semantic features and only applying the decoder from perception models. This eliminates the need for expensive backbones and benefits 3D consistency. Furthermore, we can project the learned semantics onto extracted mesh surfaces for real-time interaction. With the state-of-the-art Segment Anything Model (SAM), our framework accelerates segmentation by 16 times with comparable mask quality. The experimental results demonstrate the efficacy and computational advantages of our approach. Project page: \url{https://me.kiui.moe/san/}.

研究の動機と目的

• 対話型3Dアプリケーションのために、NeRFへ明示的なセマンティ情報を追加する動機づけ。
• NeRFレンダリング時にセマンティック特徴をレンダリングする、プラグアンドプレイ式のセマンティック特徴模倣モジュールを提案。
• SAMのような市販の知覚モデルと互換性を示し、3Dでの高速・ゼロショットセグメンテーションを実現。
• 学習したセマンティクスをメッシュ表面へ投影することで、リアルタイムの対話と下流のメッシュ編集を可能にする。

提案手法

• 学習可能なセマンティック特徴グリッド E^{sem} を用いてバックボーン特徴を模倣し、NeRF から直接セマンティック特徴をレンダリングする。
• レイ集合意味特徴から、既存の知覚バックボーンでのデコードを可能にするため、クアドレチュア後に軽量MLPを用いて模倣特徴 0 F^hat(r) を予測する。
• 模倣特徴と真のセマンティック特徴のMSEを用いる単一スケール損失、またはスケール間相関を含むマルチスケール損失で訓練し、スケール間の整合性を促進。
• 視点を多様化するカメラ拡張と、訓練中のバックボーン計算を削減するFIFOキャッシュ機構を導入。
• GUIを用いて3D空間でクリックまたはテキストプロンプトでセグメンテーションを行い、2Dマスクを3Dメッシュへ投影してリアルタイム操作を可能にする。

Figure 1. Our pipeline allows click- or text-based user interaction to perform zero-shot semantic segmentation in 3D space. We further investigate single-object mesh extraction by projecting semantic masks onto mesh surface, leading to applications like texture editing and model composition.

実験結果

リサーチクエスチョン

• RQ1 セマンティック特徴模倣によって、重いバックボーンを再訓練せずにNeRFへセマンティック情報を付与できるか？
• RQ2 セグメンテーションバックボーンを特徴模倣モジュールに置換して、レンダリング品質を保ちながら高速な3Dセグメンテーションを実現できるか？
• RQ3 この手法は、SAMとX-Decoderなど異なる知覚バックボーンや対話用のメッシュ抽出へどの程度一般化するか？
• RQ4 模倣品質と収束を改善する訓練戦略（カメラ拡張、キャッシュ、クロススケール損失）は何か？
• RQ5 提案パイプラインと GUIで3D対話はリアルタイムで実現可能か？

主な発見

• 本手法は最新のGPUを用いて5120x512のリアルタイム対話を実現し、特徴エンコードは最大24.39 FPSを提供する（SAMバックエンドはバックボーンより16倍の高速化を示す）。
• 模倣されたセマンティック特徴は、評価プロンプトでSAMのマスクIoUが0.822、X-Decoderが0.749を達成し、事前学習済みモデルと競合するマスク品質を示す。
• クロススケール相関損失とカメラ拡張は、特にX-Decoderのようなマルチスケールバックボーンで模倣品質と収束を改善。
• キャッシュは訓練時間を大幅に短縮し、特にSAMのような重いバックボーンで有効で、特徴模倣品質を著しく損なわない。
• 2Dマスクを3D表面に投影することでメッシュセグメンテーションを可能にし、テクスチャ編集やモデル構成のための即戦力の単一オブジェクトメッシュを提供。
• 本フレームワークはNeRFおよび知覚モデルに対してモデル非依存で、レンダリング品質を保持しつつ高価なバックボーンを回避。

Figure 2. Semantic feature imitation training. We visualize the high-dimensional semantic features by rendering the first three channels as RGB.