[論文レビュー] CLIP-Fields: Weakly Supervised Semantic Fields for Robotic Memory

Nur Muhammad Mahi Shafiullah, Chris Paxton+3 more|arXiv (Cornell University)|Oct 11, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

CLIP-Fieldsは、CLIP や Detic のようなウェブ事前学習済みビジョン・ランゲージモデルを用いて、空間的位置からセマンティック埋め込みを学習する弱教師付きの暗黙的3次元シーン表現を導入する。これにより、最小限の人的アノテーションでゼロショットのセマンティックセグメンテーション、インスタンス同定、セマンティックナビゲーションが可能となり、実環境におけるロボットナビゲーションを実現する。本手法はHM3Dで強力なフェイシュット性能を達成し、自然言語クエリによる実ロボットナビゲーションを可能にする。

ABSTRACT

We propose CLIP-Fields, an implicit scene model that can be used for a variety of tasks, such as segmentation, instance identification, semantic search over space, and view localization. CLIP-Fields learns a mapping from spatial locations to semantic embedding vectors. Importantly, we show that this mapping can be trained with supervision coming only from web-image and web-text trained models such as CLIP, Detic, and Sentence-BERT; and thus uses no direct human supervision. When compared to baselines like Mask-RCNN, our method outperforms on few-shot instance identification or semantic segmentation on the HM3D dataset with only a fraction of the examples. Finally, we show that using CLIP-Fields as a scene memory, robots can perform semantic navigation in real-world environments. Our code and demonstration videos are available here: https://mahis.life/clip-fields

研究の動機と目的

• 人的アノテーションデータセットに依存しないスケーラブルでオープンボキャブラリーな3次元空間的セマンティック記憶をロボットに提供すること。
• ウェブスケールの事前学習済みビジョン・ランゲージモデルのみを監視として用いて、3次元環境におけるセマンティック理解とナビゲーションを可能にすること。
• CLIP および Detic の特徴を用いた対照的損失を用いて、暗黙的ニューラルフィールドを訓練できることを示し、ゼロショットまたはフェイシュットのシーン理解を可能にすること。
• 学習済み3次元セマンティック埋め込みフィールドをクエリすることで、自然言語クエリに基づく実世界のロボットナビゲーションを実現すること。
• ベースとなるビジョン・ランゲージモデルの品質に応じて性能が相関することを示すこと。

提案手法

• CLIP-Fieldsは、3次元空間座標をセマンティック埋め込みベクトルにマップするニューラル暗黙関数 $ g: \mathbb{R}^3 \to \mathbb{R}^d $ を定義する。
• モデルは、複数のRGB-Dビューにおいて同じ物体またはシーン領域に対応する空間的位置に対して類似した特徴をもたらすように、対照的損失を用いて訓練される。
• 特徴は事前学習済みモデルから抽出される：CLIP はビジョン・ランゲージの整合性を、Detic はオブジェクト検出を、Sentence-BERT はテキストクエリを対象とする。
• 本手法はマルチビューRGB-Dデータと推定されたカメラポーズを活用し、明示的な人的アノテーションなしに3次元埋め込みフィールドを監視する。
• 推論時、クエリは埋め込みベクトルにエンコードされ、コサイン類似度を用いてCLIP-Fields表現内の最も近い点にマッチングされる。
• ロボットは、クエリ埋め込みとフィールドに保存された特徴の間の整合性が最も高い空間的位置へナビゲートする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みビジョン・ランゲージモデルを活用することで、人的アノテーションを最小限に抑えた3次元シーン表現の学習は可能か？
• RQ2 CLIP-Fieldsは、アノテーションデータへのファインチューニングなしにフェイシュットのインスタンス同定およびセマンティックセグメンテーションを可能にするか？
• RQ3 自然言語クエリのみと弱教師付き3次元埋め込みフィールドを用いて、ロボットがセマンティックナビゲーションを実行できるか？
• RQ4 CLIP-Fieldsの性能は、監視に使用されたベースビジョン・ランゲージモデルの品質にどのように依存するか？
• RQ5 CLIP-Fieldsは、実環境において視覚的および意味的記述を含むオープンボキャブラリークエリをサポートできるか？

主な発見

• CLIP-Fieldsは、HM3Dベンチマークにおいて、訓練データのわずか数パーセントでマスクRCNNを上回るフェイシュットインスタンス同定およびセマンティックセグメンテーション性能を達成する。
• 本手法は、自然言語クエリに基づいた実世界のロボットナビゲーションを可能にし、キッチンおよび図書館環境の両方で成功が観察された。
• 性能は、データ準備時に使用されたベースビジョンモデルの正確性に強く相関しており、訓練時に誤分類されたオブジェクトはナビゲーション失敗を引き起こす。
• わずかなスペルの誤りがある場合でも、意味的クエリに対して物体を正しく検索できることから、語彙的ノイズに対して強い耐性を示す。
• 意味的に類似する概念（例：「手を洗う」に対して「洗濯機」が誤って検索される）を区別できない場合があり、区別能力に限界があることが示された。
• 視覚的クエリは意味的類似性によって誤って誘導されることがある（例：「赤い果物ボウル」に対して「白いボウル」が検索されるが、より具体的な記述「赤いプラスチックボウル」では精度が向上する）。