[論文レビュー] Reasoning Grasping via Multimodal Large Language Model

Shiyu Jin, Jinxuan Xu+2 more|arXiv (Cornell University)|Feb 9, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、視覚ベースの grasping フレームワークと統合されたマルチモーダル大規模言語モデル（LLM）を用いて、暗黙の口頭指示から正確なグリップポーズを生成する、ロボットが新たなタスク「推論グリップ」を導入する。この手法は、特別なトークン同定とテクスト特徴のプロジェクションを用い、グリップ予測を向上させ、実世界の実験で25/40の成功を達成した。これは、CLIP+GR-ConvNetベースライン（15/40のポーズ正確性）を著しく上回った。

ABSTRACT

Despite significant progress in robotic systems for operation within human-centric environments, existing models still heavily rely on explicit human commands to identify and manipulate specific objects. This limits their effectiveness in environments where understanding and acting on implicit human intentions are crucial. In this study, we introduce a novel task: reasoning grasping, where robots need to generate grasp poses based on indirect verbal instructions or intentions. To accomplish this, we propose an end-to-end reasoning grasping model that integrates a multimodal Large Language Model (LLM) with a vision-based robotic grasping framework. In addition, we present the first reasoning grasping benchmark dataset generated from the GraspNet-1 billion, incorporating implicit instructions for object-level and part-level grasping. Our results show that directly integrating CLIP or LLaVA with the grasp detection model performs poorly on the challenging reasoning grasping tasks, while our proposed model demonstrates significantly enhanced performance both in the reasoning grasping benchmark and real-world experiments.

研究の動機と目的

• 現在のロボットグリップシステムが明示的な言語命令に依存しており、シーン理解が欠如しているという制限に対処すること。
• 『水を飲みたい』といった暗黙の人間の意図を解釈し、適切な物体を自動的に選別・グリップできるようにすること。
• 暗黙の指示、オブジェクトレベルおよびパーツレベルのグリップアノテーションを備えた、推論グリップ用の新規ベンチマークデータセットを構築すること。
• マルチモーダル LLM の推論を用いて、視覚入力と複雑な指示を直接、正確なグリップポーズにマッピングするエンドツーエンドモデルを設計すること。
• マルチモーダル LLM をグリップ検出と統合することで、CLIP や LLaVA を直接統合するのと比較して、暗黙の指示タスクにおける性能が向上することを実証すること。

提案手法

• モデルは、微調整された LLaVA を用いたマルチモーダル LLM を使用し、視覚的入力と暗黙の言語命令を解釈し、グリップ対象を特定するテキスト出力を生成する。
• LLM の出力に含まれる特別なトークンを同定することで、最も関連性の高い対象オブジェクト名のみを抽出し、冗長性を低減するとともに、焦点を明確にする。
• これらのキーツークンからのテキスト埋め込みを、学習可能なプロジェクションネットワークを用いて、コンパクトな特徴表現に変換する。
• このテキスト特徴は、グリップ検出ヘッドで視覚的特徴と融合され、より正確なグリップポーズ予測を促進する。
• フレームワークは、GraspNet-1Billion から抽出された新規の推論グリップベンチマークデータセットを用いて訓練および評価され、1730件の暗黙の指示と1億個のグリップポーズを含む。
• 実世界の実験では、7自由度のFranka Panda ロボットとAzure Kinectを用い、実行のために上位3つの予測グリップポーズを評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル LLM は、ごちゃついた現実世界環境において、暗黙の人間の指示を効果的に解釈し、正確なグリップポーズを生成するために十分に活用可能か？
• RQ2 LLM から得られるテキスト特徴を統合することで、直接視覚言語モデルを統合するのと比較して、グリップポーズ予測の精度はどのように向上するか？
• RQ3 明示的命令と暗黙的命令のタスクにおける性能格差は何か？また、統一されたモデルが両者を処理できるか？
• RQ4 特定のトークン同定戦略が、LLM 出力からのターゲットオブジェクト認識の関連性と正確性をどの程度向上させるか？
• RQ5 本モデルは、トレーニング時に見なかった新しいオブジェクトやパーツに対しても、特に暗黙の指示条件下で一般化できるか？

主な発見

• 提案された推論グリップモデルは、暗黙の指示下で実世界のオブジェクトグリップにおいて25/40の成功を達成し、CLIP+GR-ConvNet ベースライン（16/40の成功率）を著しく上回った。
• 暗黙の指示の39/40の試行で、モデルは正しくターゲットオブジェクト名を特定した。これは、強力な推論および解釈能力を示している。
• ポーズ正確性は、提案モデルが25/40、ベースラインが15/40であった。これは、グリップ予測品質の向上を示している。
• 暗黙の指示下でのパーツグリップでは、提案モデルが6/10の正確性を達成したのに対し、ベースラインは2/10であった。これは、パーツレベルタスクへの一般化能力の向上を示している。
• 微調整された LLaVA モデルは、強い推論能力を維持しており、GPT-4 評価者によるスコアは7.43/10であり、元の LLaVA-7B-v0 の8.25/10に近く、優れた性能を示した。
• 新規の推論グリップベンチマークデータセットには、64個のオブジェクト、109個のパーツ、1730件の推論指示、約1億個のグリップポーズが含まれており、暗黙の指示理解の包括的評価を可能にしている。