[論文レビュー] WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model

Tianyu Wang, Yifan Li+3 more|arXiv (Cornell University)|Aug 30, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、ChatGPTなどの大規模言語モデル（LLM）を活用して、複数ラウンドの自然言語指示を解釈し、視覚言語アライメントによりターゲットオブジェクトを位置特定し、正確な6自由度の把持を実行するロボットシステムWALL-Eを提案する。このフレームワークは、LLM駆動の対話、視覚的位置特定、ロボットの運動計画を組み合わせることで、現実世界の把持タスクにおいて84%以上の成功率を達成し、サービスロボティクスにおける人間とロ봇の相互作用の向上を示している。

ABSTRACT

Enabling robots to understand language instructions and react accordingly to visual perception has been a long-standing goal in the robotics research community. Achieving this goal requires cutting-edge advances in natural language processing, computer vision, and robotics engineering. Thus, this paper mainly investigates the potential of integrating the most recent Large Language Models (LLMs) and existing visual grounding and robotic grasping system to enhance the effectiveness of the human-robot interaction. We introduce the WALL-E (Embodied Robotic WAiter load lifting with Large Language model) as an example of this integration. The system utilizes the LLM of ChatGPT to summarize the preference object of the users as a target instruction via the multi-round interactive dialogue. The target instruction is then forwarded to a visual grounding system for object pose and size estimation, following which the robot grasps the object accordingly. We deploy this LLM-empowered system on the physical robot to provide a more user-friendly interface for the instruction-guided grasping task. The further experimental results on various real-world scenarios demonstrated the feasibility and efficacy of our proposed framework. See the project website at: https://star-uu-wang.github.io/WALL-E/

研究の動機と目的

• 対話による相互作用を通じて、ロボットが長く複雑な複数ラウンドの自然言語指示を理解し、実行できるようにすること。
• 視覚言語アライメントを用いて、高レベルの言語指示と低レベルのロボット動作を一致させる課題に対処すること。
• 対話ベースのタスク実行における文脈記憶とフィードバックループを組み込むことで、人間とロボットの相互作用を向上させること。
• 市販のLLMを視覚的位置特定とロボットの把持システムと統合する実用性を評価すること。
• 複雑で動的な環境において、記憶の混同や視覚的位置特定の誤りといった、主な失敗モードを同定すること。

提案手法

• 文脈記憶を備えた複数ラウンドの対話により、ユーザーの好みを要約し、ターゲット指示に変換する対話エンジンとしてChatGPTを活用する。
• DINO、SAM、SAR-Netを統合した9次元の視覚的位置特定システムを採用し、自然言語指示に基づいて6自由度のオブジェクトポーズと3次元サイズを予測する。
• 視覚言語モデルを統合して、LLMの出力を正確なロボットの把持ポーズにマッピングし、オブジェクトの正確な局所化を可能にする。
• 各把持試行後にユーザーがステータス更新を提供するフィードバックループを実装し、LLMが次の指示を精緻化できるようにする。
• LLMの推論を制約し、位置特定の正確性を向上させるために、辞書形式の環境状態を用いる。
• 予測された6自由度のポーズとサイズに基づいて運動計画を実行し、衝突検査および逆運動学チェックを実施して実行可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、複数回のやり取りにおける複雑なユーザーの好みを、実行可能なロボット指示に効果的に解釈・要約できるか？
• RQ2 LLMが生成した指示に基づいて、視覚言語モデルはごみだらけの環境でもオブジェクトをどれだけ正確に位置特定できるか？
• RQ3 LLMの記憶力と文脈保持能力が、長時間にわたる人間とロボットの対話によるタスク実行に与える影響は何か？
• RQ4 視覚的位置特定や運動計画に関して、LLMとロボットの把持パイプラインにおける主な失敗モードは何か？
• RQ5 LLMの統合が、現実世界の設定において指示ベースのロボットの把持の成功確率と使いやすさをどの程度向上させるか？

主な発見

• LLMは、1人のユーザーとの複数ラウンドの対話において、91.11%の成功率で指示の的を射撃し、優れた対話的および記憶能力を示した。
• 視覚的位置特定システムは、正しく2次元マスクと3次元バウンディングボックスを生成するという点で88.89%の成功率を達成し、ごみだらけのシーンにおける正確な把持計画を可能にした。
• 全試行における最終的な把持成功確率は68.89%であった。失敗の主な原因は、グリッパーとオブジェクトの衝突および実行不能な逆運動学であった。
• 失敗分析の結果、記憶の混同や理解の混同による「ターゲットを逸らす」エラーが、指示の不一致の主な要因であることが判明した。
• 自由形式の言語入力と動的フィードバックの処理において、システムは頑健であったが、ユーザー数の増加に伴い記憶制限のため性能が低下した。
• 定性的な結果から、9次元の位置特定-SAMモジュールが、ランダムに配置された複雑な作業環境でも正確な推論を可能にしたことが確認されたが、反射性または透明性の高い素材では深度センシングの問題が正確性に影響を与えた。