[論文レビュー] Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations

Vadim Tschernezki, Iro Laina+2 more|arXiv (Cornell University)|Sep 7, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

Neural Feature Fusion Fields (N3F) は、微分可能なレンダリングを介して自己教師付き 2D 画像特徴を 3D ニューラルレンダランスフィールドに蒸留することで、3D アノテーションが不要な視点不変型で遮蔽に強いセマンティック理解を実現する。この手法は、オブジェクト検索、セグメンテーション、シーン編集といった 3D タスクにおける 2D 自己教師付き特徴を著しく向上させ、エゴセントリック動画を含む多様なシーンで、常に 2D 教師ネットワークを上回る性能を発揮する。

ABSTRACT

We present Neural Feature Fusion Fields (N3F), a method that improves dense 2D image feature extractors when the latter are applied to the analysis of multiple images reconstructible as a 3D scene. Given an image feature extractor, for example pre-trained using self-supervision, N3F uses it as a teacher to learn a student network defined in 3D space. The 3D student network is similar to a neural radiance field that distills said features and can be trained with the usual differentiable rendering machinery. As a consequence, N3F is readily applicable to most neural rendering formulations, including vanilla NeRF and its extensions to complex dynamic scenes. We show that our method not only enables semantic understanding in the context of scene-specific neural fields without the use of manual labels, but also consistently improves over the self-supervised 2D baselines. This is demonstrated by considering various tasks, such as 2D object retrieval, 3D segmentation, and scene editing, in diverse sequences, including long egocentric videos in the EPIC-KITCHENS benchmark.

研究の動機と目的

• 自己教師付き 2D 画像特徴の 3D 一致性とロバスト性を、3D ニューラルフィールド表現に特徴を蒸留することで向上させること。
• 2D 画像特徴とマルチビュー幾何学のみを活用して、手動での 3D アノテーションなしに 3D シーンにおけるセマンティック理解を可能にすること。
• DINO などの 2D 自己教師付き特徴の有用性を、3D シーン表現に特徴を統合することで 2D を超える用途にまで拡張すること。
• 3D ニューラルフィールドへの蒸留が、特に視点変化、遮蔽、動的シーン条件下で特徴品質を向上させることを示すこと。
• 2D 視覚クエリと 3D シーン再構築のみを用いて、アモーダルセグメンテーションやシーン編集といった新たな 3D 機能を可能にすること。

提案手法

• N3F は、2D 自己教師付き特徴抽出器（例：DINO）を教師とし、3D ニューラルレンダランスフィールド（生徒）がその特徴を再現する学生・教師の蒸留フレームワークを採用する。
• 3D 生徒ネットワークは微分可能なレンダリングを用いて訓練され、2D 画像特徴から 3D 座標へ勾配が逆伝播可能となり、マルチビュー一貫性が強制される。
• 特徴蒸留は、レンダリングされたビューから抽出された 2D 特徴と、教師ネットワークからの対応する特徴との間の L2 損失を最小化することで実行される。
• この手法は NeRF スタイルの暗黙的表現を用いて 3D ジオメトリとアピアランスを統合し、3D アウェアな特徴伝搬とレンダリングを可能にする。
• このフレームワークは、ヴァニラ NeRF や動的シーン拡張（例：NeuralDiff）を含むさまざまなニューラルレンダリングモデルと互換性を持つ。
• 2D クエリによる 3D 推論が可能である：2D リージョンが与えられると、3D 空間で特徴が一致し、オブジェクトの検索・セグメンテーション・編集が可能になる。

実験結果

リサーチクエスチョン

• RQ1 2D 自己教師付き特徴を 3D ニューラルフィールドに蒸留することで、視点変化や遮蔽に対しても一貫性とロバスト性が向上するか？
• RQ2 3D アウェアな特徴表現は、2D を超えて 3D オブジェクトセグメンテーション やアモーダル補完といったタスクをどれほど可能にするか？
• RQ3 N3F は、動的シーンと視点変化が顕著な困難なエゴセントリック動画シーケンスにおいて、2D 特徴のパフォーマンスをどのように向上させるか？
• RQ4 3D 蒸留特徴は、明示的な 3D 監督なしに、シーン編集やインpainting をサポートできるか？
• RQ5 2D 特徴を 3D 空間に統合することで、オープンワールド・ゼロショット設定において 2D 教師単体よりも優れた一般化性能が得られるか？

主な発見

• N3F は、3D オブジェクト検索において 2D 自己教師付き特徴の性能を著しく向上させ、特に大規模な視点変化や遮蔽下でも 2D 教師を上回る高い正確性を達成した。
• この手法は、3D アノテーションが一切不要な状態で 3D オブジェクトセグメンテーションとアモーダルセグメンテーションを実現し、2D 教師よりもより完全で正確なセグメンテーションを生成した。
• シーン編集においては、N3F はマルチビュー観測から得られる包括的なシーン知識を活用しているため、NeRF-N3F よりもより現実的な背景のインパインティングを実現した。
• EPIC-KITCHENS ベンチマークでは、N3F は長時間のエゴセントリック動画シーケンスにおけるワンショットオブジェクト検索で 2D DINO を上回り、外観変化や動的シーンに対して高いロバスト性を示した。
• 多様なカメラアングルで一貫した特徴マッチングが示されたことから、3D 蒸留特徴は元の 2D 特徴よりも視点不変型かつ遮蔽に強いことが明らかになった。
• 薄型または部分的にしか見えない物体（例：包丁台）に対しても、N3F はニューラルフィールドからの 3D アウェアネスのおかげで、2D 教師よりもより完全な 3D ジオメトリとセグメンテーションを回復できた。