Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] ConceptFusion: Open-set Multimodal 3D Mapping

Krishna Murthy Jatavallabhula, Alihusein Kuwajerwala|arXiv (Cornell University)|Feb 14, 2023
Multimodal Machine Learning Applications被引用数 4
ひとこと要約

ConceptFusion は、基礎モデル（CLIP、AudioCLIP）のピクセルアラインド特徴を標準的な SLAM およびマルチビュー融合を用いて 3D マップに統合する、新しいオープンセット・マルチモーダル 3D マッピングフレームワークを提案する。再訓練を必要とせず、ゼロショットでテキスト、画像、音声、クリック入力といったマルチモーダルクエリを可能にする。長尾概念において、教師あり手法よりも 40% 以上の高い 3D IoU を達成し、オープンボキャブラリー 3D パノプティック理解分野で最先端のパフォーマンスを示している。

ABSTRACT

Building 3D maps of the environment is central to robot navigation, planning, and interaction with objects in a scene. Most existing approaches that integrate semantic concepts with 3D maps largely remain confined to the closed-set setting: they can only reason about a finite set of concepts, pre-defined at training time. Further, these maps can only be queried using class labels, or in recent work, using text prompts. We address both these issues with ConceptFusion, a scene representation that is (1) fundamentally open-set, enabling reasoning beyond a closed set of concepts and (ii) inherently multimodal, enabling a diverse range of possible queries to the 3D map, from language, to images, to audio, to 3D geometry, all working in concert. ConceptFusion leverages the open-set capabilities of today's foundation models pre-trained on internet-scale data to reason about concepts across modalities such as natural language, images, and audio. We demonstrate that pixel-aligned open-set features can be fused into 3D maps via traditional SLAM and multi-view fusion approaches. This enables effective zero-shot spatial reasoning, not needing any additional training or finetuning, and retains long-tailed concepts better than supervised approaches, outperforming them by more than 40% margin on 3D IoU. We extensively evaluate ConceptFusion on a number of real-world datasets, simulated home environments, a real-world tabletop manipulation task, and an autonomous driving platform. We showcase new avenues for blending foundation models with 3D open-set multimodal mapping. For more information, visit our project page https://concept-fusion.github.io or watch our 5-minute explainer video https://www.youtube.com/watch?v=rkXgws8fiDs

研究の動機と目的

  • 従来のクローズドセットの意味的マッピングに制限されるのを回避し、固定された意味的コンセプトの集合を超えた 3D マップにおける推論を可能にすること。
  • 自然言語、画像、音声、3D ジオメトリなどの多様な入力による 3D マップのマルチモーダルクエリを可能にし、柔軟な人間-ロボットインタラクションを実現すること。
  • 元々グローバル画像埋め込みを目的として設計された基礎モデルのピクセルアラインド特徴を、微調整や追加学習を伴わず 3D マップに統合すること。
  • 実世界およびシミュレーテッドロボティクスタスク（操作、ナビゲーション、自動運転）において、オープンセットおよびマルチモーダル条件の下でシステムを評価すること。
  • 78 個の一般的な物体と 50 万件以上のマルチモーダルクエリを含む、オープンセット 3D マッピング評価のための新しい RGB-D ベンチマークである UnCoCo データセットを導入すること。

提案手法

  • まずインスタンスセグメンテーションによりクラスに依存しないオブジェクトマスクを生成し、その後、切り出されたパッチから局所的領域特徴を計算することで、基礎モデルからピクセルアラインド特徴を抽出する。
  • 各領域の局所的特徴ベクトルは、ビジョンエンコーダー（例：CLIP）を用いて計算される一方、文脈情報を得るためのグローバル画像特徴も抽出される。
  • これらの局所的およびグローバル特徴は、標準的な表面統合技術を用いて 3D マップに統合され、基礎モデル特徴を追加のモダリティチャネルとして扱う。
  • 得られた 3D マップは、埋め込み空間におけるベクトル類似度を用いたゼロショットクエリを可能にし、モデルの微調整なしにクロスマodal 追跡を実現する。
  • 空間的推論クエリ（例：「リンゴはテーブルの上にありますか？」）は、大規模言語モデル（text-davinci-003）を用いて、基本的な 3D 空間比較関数のセットを条件として関数シグネチャに変換する。
  • 本システムは、3D 再構築に既存の SLAM パイプラインを活用し、表面統合の過程で基礎モデル特徴を追加の意味的チャネルとして統合する。
Figure 2 : ConceptFusion constructs pixel-aligned features $\textbf{f}^{\hskip 0.63004ptP}$ by: processing input images to generate generic (class-agnostic) object masks (regions) $r_{i}$ , computing a bounding box for each region and extracting a local feature vector $\textbf{f}^{\hskip 0.63004ptL}
Figure 2 : ConceptFusion constructs pixel-aligned features $\textbf{f}^{\hskip 0.63004ptP}$ by: processing input images to generate generic (class-agnostic) object masks (regions) $r_{i}$ , computing a bounding box for each region and extracting a local feature vector $\textbf{f}^{\hskip 0.63004ptL}

実験結果

リサーチクエスチョン

  • RQ1基礎モデル特徴は、グローバル画像埋め込みを目的として設計されているにもかかわらず、3D マッピングに適したピクセルアラインドの局所的表現を効果的に生成できるか？
  • RQ2このようなピクセルアラインド特徴は、再訓練や微調整なしに、テキスト、画像、音声、クリック入力といったマルチモーダルクエリのゼロショット実行を可能にするか？
  • RQ3基礎モデルを用いたオープンセット 3D マッピングのパフォーマンスは、教師ありまたは微調整済みアプローチと比較して、長尾概念においてどのように異なるか？
  • RQ4本システムは、オープンセットおよびマルチモーダル条件の下で、実世界のロボティクスタスク（テーブルトップ操作、自動運転など）にどの程度一般化できるか？
  • RQ5自然言語空間クエリを実行可能な 3D 空間比較関数に変換するための大規模言語モデルの統合は、どの程度有効であるか？

主な発見

  • ConceptFusion は、長尾概念において、教師ありベースラインと比較して 3D IoU が 40% 以上高い性能を達成し、オープンセット環境における優れた一般化能力を示している。
  • 本システムは、追加の訓練や微調整を要せず、テキスト、画像、音声、3D ジオメトリを用いたゼロショットマルチモーダルクエリを可能にしている。
  • 基礎モデルからのピクセルアラインド特徴は、微調整済みまたは教師ありの代替手法に比べ、3D マップにおけるレアで多様なコンセプトの捉え方において顕著に優れている。
  • LLM を用いたクエリパーサーは、100 件のテストクエリのうち 100% を正しく解釈し、自然言語空間質問を実行可能な 3D 空間比較関数に正確にマッピングした。
  • 実世界データセット（ScanNet、Replica、AI2-THOR）およびシミュレーテッド環境における評価により、多様なシーンやオブジェクトカテゴリにわたる堅牢性と一般化能力が確認された。
  • 78 個の家庭用オブジェクトと 50 万件以上のマルチモーダルクエリを含む UnCoCo データセットは、オープンセット 3D マッピングシステムの包括的ベンチマークを可能にしている。
Figure 3 : For each image, the global ( $\textbf{f}^{\hskip 0.63004ptG}$ ) and local ( $\textbf{f}^{\hskip 0.63004ptL}$ ) features are fused to obtain our pixel-aligned features ( $\textbf{f}^{\hskip 0.63004ptP}$ ). Top-Left: We first compute cosine similarities between each local feature ( $\textbf
Figure 3 : For each image, the global ( $\textbf{f}^{\hskip 0.63004ptG}$ ) and local ( $\textbf{f}^{\hskip 0.63004ptL}$ ) features are fused to obtain our pixel-aligned features ( $\textbf{f}^{\hskip 0.63004ptP}$ ). Top-Left: We first compute cosine similarities between each local feature ( $\textbf

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。