[論文レビュー] Semantic Mechanical Search with Large Vision and Language Models

Satvik Sharma, Huang Huang+5 more|arXiv (Cornell University)|Feb 24, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、ロボティクスにおける機械的探索の向上を図るために、大規模言語モデル（LLM）を用いて意味的占有分布を生成するフレームワーク、意味的機械的探索（SMS）を提案する。視覚的推論と幾何的計画を分離することで、薬局、キッチン、オフィス環境において、シミュレーションで24%、実験で47.1%の性能向上を達成し、物体間の関係に関するより深い意味的推論により、CLIPベースのベースラインを上回った。

ABSTRACT

Moving objects to find a fully-occluded target object, known as mechanical search, is a challenging problem in robotics. As objects are often organized semantically, we conjecture that semantic information about object relationships can facilitate mechanical search and reduce search time. Large pretrained vision and language models (VLMs and LLMs) have shown promise in generalizing to uncommon objects and previously unseen real-world environments. In this work, we propose a novel framework called Semantic Mechanical Search (SMS). SMS conducts scene understanding and generates a semantic occupancy distribution explicitly using LLMs. Compared to methods that rely on visual similarities offered by CLIP embeddings, SMS leverages the deep reasoning capabilities of LLMs. Unlike prior work that uses VLMs and LLMs as end-to-end planners, which may not integrate well with specialized geometric planners, SMS can serve as a plug-in semantic module for downstream manipulation or navigation policies. For mechanical search in closed-world settings such as shelves, we compare with a geometric-based planner and show that SMS improves mechanical search performance by 24% across the pharmacy, kitchen, and office domains in simulation and 47.1% in physical experiments. For open-world real environments, SMS can produce better semantic distributions compared to CLIP-based methods, with the potential to be integrated with downstream navigation policies to improve object navigation tasks. Code, data, videos, and the appendix are available: https://sites.google.com/view/semantic-mechanical-search

研究の動機と目的

• 遮蔽された環境における物体間の意味的関係を活用することで、ロボティクスにおける機械的探索の性能を向上させること。
• CLIPのような視覚言語モデルと比較して、LLMが物体探索タスクにおいてより効果的な意味的表現を生成できるかどうかを調査すること。
• 既存の幾何的プランナに統合可能なプラグイン型の意味的モジュールを開発すること。
• SMSの性能を、既知の物体リストがあるクローズドワールド環境と、未知の物体があるオープンワールド環境の両方で評価すること。
• 視覚的認識と意味的推論を分離することで、探索性能が向上することを示すこと。

提案手法

• SMSは、シーン内の物体を検出するか、インスタンスセグメンテーションを実行し、物体リストが利用できない場合には画像キャプション生成を適用する。
• 視覚言語モデル（VLM）を用いて視覚特徴をテキスト埋め込みに変換し、その後、大規模言語モデル（LLM）が検出された物体とターゲットの間の意味的類似性を推論する。
• LLMは、物体間の関係（例：歯ブラシの近くに歯磨き粉があるなど）を推論することで、意味的占有分布を生成する。
• この分布は、下流の幾何的プランナの入力として使用され、コアな計画アルゴリズムを変更せずに意味的認識に基づく機械的探索を可能にする。
• クローズドワールド設定では、物体リストを用いて検出とキャプション生成をガイドする。オープンワールド設定では、セグメンテーションとキャプション生成を用いて物体マスクを記述する。
• フレームワークは、シェルフやモバイルナビゲーションタスクにおけるシミュレーションおよび実世界実験を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 LLMによる意味的推論は、遮蔽された環境における機械的探索の性能を向上させることができるか？
• RQ2 LLMを用いて意味的占有分布を生成することは、CLIPベースの視覚的意味的マッチングを上回るか？
• RQ3 分離された意味的モジュールは、既存の幾何的プランナに効果的に統合可能か？
• RQ4 物体リストが利用できないオープンワールド環境では、SMSはどの程度の性能を示すか？
• RQ5 エンドツーエンドのVLMベースの計画と比較して、言語埋め込みを伴う視覚特徴に対してLLMで関係性を推論することは、どのような影響を及ぼすか？

主な発見

• シミュレーションにおいて、SMSは薬局、キッチン、オフィスの各ドメインで、幾何的計画のみのベースラインと比較して24%の性能向上を達成した。
• 実験では、同じベースラインと比較して、SMSは47.1%の成功確率の向上を達成し、実世界への一般化性能が顕著に優れていた。
• オープンワールドナビゲーションタスクにおいて、SMSはCLIPベースの手法を上回り、バッグオブワーズの制限により失敗するCLIPとは異なり、ターゲットの本のスタックを正しく特定した。
• SMSが生成した意味的分布は、干渉要因に対してより頑健であった。例えば、CLIPは「スタック」をピラールに誤って関連づけたが、SMSは正しくデスク領域を特定した。
• 視覚的認識と意味的推論をLLMを介して分離することで、エンドツーエンドのVLMベースの計画よりも優れた性能が得られ、LLMが関係的意味をよりよく捉えられることを示した。
• フレームワークは下流の幾何的プランナに効果的に統合され、実世界のロボットシステムにおいても相互運用性とモularityを示した。