[論文レビュー] Lan-grasp: Using Large Language Models for Semantic Object Grasping and Placement

Reihaneh Mirjalili, Michael Krawez+4 more|arXiv (Cornell University)|Oct 8, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

LAN-grasp は、微調整を必要とせず、大規模言語モデル（LLM）と視覚言語モデル（VLM）を活用して日常品の最適なグリップ領域を特定するゼロショット意味的グリップ手法を提案する。GPT-4 をプロンプトして安全で機能的なグリップ部分を選択し、OWL-ViT を用いてそれらをグランドイングすることで、人間の好みに近いグリップを生成する。この手法は、従来の手法や意味的ベースラインを上回り、人間の好みとの平均類似度が 0.94 を達成する。

ABSTRACT

In this paper, we propose Lan-grasp, a novel approach towards more appropriate semantic grasping and placing. We leverage foundation models to equip the robot with a semantic understanding of object geometry, enabling it to identify the right place to grasp, which parts to avoid, and the natural pose for placement. This is an important contribution to grasping and utilizing objects in a more meaningful and safe manner. We leverage a combination of a Large Language Model, a Vision-Language Model, and a traditional grasp planner to generate grasps that demonstrate a deeper semantic understanding of the objects. Building on foundation models provides us with a zero-shot grasp method that can handle a wide range of objects without requiring further training or fine-tuning. We also propose a method for safely putting down a grasped object. The core idea is to rotate the object upright utilizing a pretrained generative model and the reasoning capabilities of a VLM. We evaluate our method in real-world experiments on a custom object dataset and present the results of a survey that asks participants to choose an object part appropriate for grasping. The results show that the grasps generated by our method are consistently ranked higher by the participants than those generated by a conventional grasping planner and a recent semantic grasping approach. In addition, we propose a Visual Chain-of-Thought feedback loop to assess grasp feasibility in complex scenarios. This mechanism enables dynamic reasoning and generates alternative grasp strategies when needed, ensuring safer and more effective grasping outcomes.

研究の動機と目的

• ロボットが物体の意味的機能と設計を尊重した形で日常品をグリップできるようにすること。
• タスク固有のトレーニングや微調整を不要とするために、基礎モデルを用いたゼロショット推論によりグリップ可能な部分を理解すること。
• 物体の部品と目的の意味的知識を統合することで、幾何的グリップ手法の限界を改善すること。
• 基礎モデル駆動のグリップ選択が、現実世界の状況において人間の直感的好みと一致するかどうかを評価すること。

提案手法

• 本手法は、意味的理解と目的に基づいて、どの部分がグリップに適しているかを推論する大規模言語モデル（GPT-4）を用いる。
• 物体のRGB画像におけるLLMが特定した部分を局所化するために、視覚言語モデル（OWL-ViT）を用いる。
• グリップ提案は、VLM が特定した領域内でのみ生成され、グリップの意味的グランドイングが保証される。
• 本手法はモジュラーであり、任意のLLMおよびVLMと互換性があるため、異なる基礎モデルへの容易な適応が可能である。
• 市販のグリッププランナーが、意味的領域内で安定したグリップを生成することで、物理的実現可能性を確保する。
• 本手法はゼロショットで動作し、新しい物体カテゴリに対して追加のトレーニングや微調整を一切必要としない。

Figure 1: Robot performing the command of “Pick up the ice cream please” . The grasp on the left is generated without including semantic information while the grasp on the right is performed using our method leveraging a deeper understanding of the task and the object provided by Large Language Mode

実験結果

リサーチクエスチョン

• RQ1 LLM や VLM といった基礎モデルを用いて、微調整なしに日常品の意味的に適切なグリップ領域を特定できるか？
• RQ2 LLM が生成するグリップ領域は、人間の物体取り扱いに関する直感的好みとどの程度一致するか？
• RQ3 視覚言語モデルは、物体の実際の画像においてLLMの意味的グリップ提案を正確にグランドイングできるか？
• RQ4 本手法は、幾何的グリップ手法や既存の意味的グリップベースラインを上回る人間の好み評価を達成できるか？
• RQ5 本システムは、推論時に見未曾な物体カテゴリに対しても一般化できるか？

主な発見

• LAN-grasp は、全テストオブジェクトにおいて人間のグリップ好みとの平均類似度スコアが 0.94 を達成し、GraspIt!（0.31）と GraspGPT（0.67）を著しく上回った。
• 全テストケースにおいて、LAN-grasp が選択したグリップ領域は、大多数の人間の好みと一致し、直感的な人間行動と強い整合性を示した。
• 本手法は、工具、マグ、アイスクリームや植物のような繊細なアイテムを含む多様な物体に対して、適切なグリップ領域を正しく特定できた。
• LLM はリモコンのボタンやスマートフォンの画面といった部分を避けるよう正しく提案しており、安全を意識した推論が可能であることを示した。
• 予備の結果では、LLM が避けるべき部分（例：ファンの羽、急須の嘴）を特定できる可能性があることが示され、安全を考慮したグリップの可能性が示唆された。
• ゼロショットの性質のおかげで、再トレーニングや微調整なしに、広範な未確認の家庭用物体に一般化可能である。

Figure 2: Our approach in a nutshell: The command from the user is turned into a prompt suitable for the Large Language Model (LLM). With this prompt as an input, the large language model outputs the proper part for grasping the object, which in this example is the cone . This word is then grounded