[論文レビュー] <b>D</b>ataset for <b>O</b>pen <b>V</b>ocabulary <b>E</b>ntity <b>G</b>rounding (DOVE-G)

Haonan Chang, Kowndinya Boyalakuntla+9 more|arXiv (Cornell University)|Jan 1, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、3次元環境における自由なテキストクエリを用いた文脈認識型エンティティグランドイングのための新規フレームワーク、オープンボリューム3次元シーングラフ（OVSG）を紹介する。オープンボリューム検出と空間的関係性および属性を符号化する3次元シーングラフを組み合わせることで、OVSGは、特に未知のカテゴリーや複雑なクエリを扱う際、先行研究を上回る性能を達成した。これは、ScanNet、ICL-NUIM、および新規のDOVE-Gデータセット（8つのシナリオで合計4,000クエリ）を用いた検証で確認された。

ABSTRACT

<b>DOVE-G</b>To accommodate the richness of open-vocabulary queries, we introduced a custom dataset—DOVE-G (Dataset for Open-Vocabulary Entity Grounding). This dataset has 8 scenes namely kitchen, kitchenette, room1, room2, room3, bathroom, computer lab, and hallway. This dataset is created to facilitate users to query for objects within a scene using natural language. For each scene within DOVE-G, we manually labeled the ground truth and created 50 natural language queries (<i>L</i>_<em>q</em> ). To augment this query set, we harnessed LLMs to generate four additional sets of natural language queries. This approach yielded a total of 250 queries for each scene, and cumulatively, we have 4000 queries to evaluate OVSG’s performance. With this setup, we set out to assess how our OVSG framework performs with open-vocabulary queries, one of our key research questions, providing a critical testbed for its effectiveness in handling diverse natural language expressions.

研究の動機と目的

• 意味的カテゴリーや属性、関係性が未知または事前に定義されていない状況において、3次元シーン内でのエンティティグランドイングの課題に対処すること。
• 「キッチンテーブルの上にあるカップを持ってきて」や「誰かが座っているソファまで移動する」などの自由な自然言語クエリを用いて、文脈認識型のエンティティグランドイングを可能にすること。
• 固定語彙を超えるオープンボリュームクエリをサポートすることで、実世界のロボットナビゲーションおよびマニピュレーションにスケーラブルかつ実用的なシステムを構築すること。
• 8つの実世界の屋内シーンにまたがる4,000件の多様で文脈豊富なクエリを含む、新規のベンチマークデータセットDOVE-Gを構築し、オープンボリュームグランドイングの評価を支援すること。
• 複雑で動的な環境におけるロボットナビゲーションおよびマニピュレーション実験を通じて、フレームワークの実世界応用可能性を実証すること。

提案手法

• エンティティ（物体、エージェント、領域）をノード、空間的・意味的関係性をエッジとして表現するオープンボリューム3次元シーングラフ（OVSG）を構築し、色、素材、アフォーダンスなどの属性を含める。
• ゼロショット一般化による未知カテゴリへの対応を可能にするオープンボリューム視覚言語モデル（例：CLIPベースのDeticおよびOVIR-3D）を統合し、3次元オブジェクトインスタンスの検出と埋め込みを実施する。
• 3次元グローバルデータアソシエーションを用いて、OVIR-3Dからの2次元検出結果を3次元シーンに統合し、各インスタンスに一意の特徴量と空間的文脈を割り当てる。
• クエリを自然言語入力として表現し、視覚言語エンコーダーを用いてエンコードし、シーングラフのノードおよびエッジと一致させる。
• クエリ埋め込みとシーングラフ間のクロスアテンションを計算することでグランドイングを実行し、類似度スコアに基づいて最も関連性の高いエンティティを選択する。
• 速度と精度のバランスを図るためのマルチスケール推論戦略（OVSG-J、OVSG-S、OVSG-L）を適用し、OVSG-Lはフル特徴量統合と文脈推論を用いる。

Figure 1: This is an illustration of the proposed pipeline. The system inputs are the positional input $P_{u}$ , user input $L_{u}$ , RGBD Scan $I$ , and a query language $L_{q}$ . The top section depicts the construction of $G_{s}$ . Both $P_{u}$ and $L_{u}$ are directly fed into $G_{s}$ . The RGBD

実験結果

リサーチクエスチョン

• RQ1 3次元シーングラフ表現は、未知カテゴリーや複雑な空間的関係性を含む自由なオープンボリュームクエリに対して、文脈認識型エンティティグランドイングをサポートできるか？
• RQ2 オープンボリューム検出と3次元シーングラフの統合は、最先端のセマンティックベースのローりング手法と比較して、グランドイング精度をどの程度向上させるか？
• RQ3 提案フレームワークは、学習データに存在しない未知のオブジェクトカテゴリーや新しい関係性に対して、どの程度一般化可能か？
• RQ4 曖昧または文脈依存的なクエリを正確にグランドイングする必要がある実世界のロボットナビゲーションおよびマニピュレーションタスクにおいて、このシステムはどの程度効果的か？
• RQ5 さまざまな3次元環境およびIoU閾値において、OVSGはConceptFusionやOVIR-3Dといったベースライン手法に比べてどの程度の性能向上を達成するか？

主な発見

• オフィスルームトラジェクトリ0_frei_pngシーン（29クエリ）において、OVSG-LはIoU > 0.15で100％の3次元グランドイング成功率を達成し、ConceptFusion（0％）およびOVIR-3D（65.52％）を大きく上回った。
• リビングルームトラジェクトリ3_frei_pngシーン（17クエリ）において、OVSG-LはIoU > 0.15で82.36％の成功率、IoU > 0.25で64.71％の成功率を達成したのに対し、ConceptFusionは完全に失敗（0％成功率）。
• オフィスルームトラジェクトリ0_frei_pngおよびオフィスルームトラジェクトリ1_frei_pngの全シーンにおいて、OVSG-LはIoU > 0.15で100％の成功率を達成し、複雑な屋内環境における頑健性を示した。
• DOVE-Gデータセットには、8つのユニークな屋内シーンにまたがる合計4,000件のクエリが含まれており、1シーンあたり50件の多様で文脈豊富なクエリが含まれており、複雑な空間的および関係的記述を含む。
• ICL-NUIMの「オブジェクトのみ」および「全クエリ」の両カテゴリにおいて、OVSG-Lは全IoU閾値（0.15、0.25、0.5、0.75）でOVIR-3DおよびConceptFusionを上回った。特に、文の全体を含むクエリの処理において顕著な優位性を示した。
• 定性的な結果から、OVSG-Lは「人の近くのテーブルにあるカップ」のような複雑で曖昧なクエリを正しくグランドイングしている一方、ConceptFusionは文脈モデリングの欠如により頻繁に失敗することが明らかになった。

Figure 2: Architecture of spatial-language encoder and predictor. The blue block is the spatial pose encoder, and the yellow block is the spatial relationship predictor.