[論文レビュー] RobotGPT: Robot Manipulation Learning from ChatGPT

Yixiang Jin, Dingzhe Li+6 more|arXiv (Cornell University)|Dec 3, 2023

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

RobotGPTは、ChatGPTの問題解決能力を活用して、直接コード実行の不安定性を回避する安定的で信頼性の高いフレームワークを提案する。自己訂正と評価を組み込んだマルチエージェントプロンプトシステムを用いることで、RobotGPTは91.5％のタスク成功率を達成した。これは、ChatGPTを直接使用した場合の38.5％から顕著に向上した結果であり、信頼性と実世界への展開可能性が大幅に向上していることを示している。

ABSTRACT

We present RobotGPT, an innovative decision framework for robotic manipulation that prioritizes stability and safety. The execution code generated by ChatGPT cannot guarantee the stability and safety of the system. ChatGPT may provide different answers for the same task, leading to unpredictability. This instability prevents the direct integration of ChatGPT into the robot manipulation loop. Although setting the temperature to 0 can generate more consistent outputs, it may cause ChatGPT to lose diversity and creativity. Our objective is to leverage ChatGPT's problem-solving capabilities in robot manipulation and train a reliable agent. The framework includes an effective prompt structure and a robust learning model. Additionally, we introduce a metric for measuring task difficulty to evaluate ChatGPT's performance in robot manipulation. Furthermore, we evaluate RobotGPT in both simulation and real-world environments. Compared to directly using ChatGPT to generate code, our framework significantly improves task success rates, with an average increase from 38.5% to 91.5%. Therefore, training a RobotGPT by utilizing ChatGPT as an expert is a more stable approach compared to directly using ChatGPT as a task planner.

研究の動機と目的

• ロボット操作システムにおけるChatGPT生成コードの直接使用による不安定性と予測不能性に対処すること。
• 直接実行するのではなく、ChatGPTの計画出力から学ぶ専用エージェントを訓練することで、システムの信頼性を向上させること。
• タスク理解と実行精度を向上させるために、自己訂正と評価モジュールを備えた効果的なプロンプト構造を開発すること。
• LLMがロボット操作において果たせる性能の境界を分析するためのタスク難易度指標を導入すること。
• シミュレーションおよび実世界環境において、オープンエンドのタスクを含め、フレームワークの有効性を実証すること。

提案手法

• 意思決定ボット（コード生成）、評価ボット（ファインチューニング済みモデルによるコード検証）、修正ボット（エラーの診断と是正）の3役割を有するシステムを設計する。
• 実行時フィードバックに基づき、1行ずつテストされ、反復的に修正されるクローズドループ実行プロセスを実装する。
• 失敗要因を特定し、反復的にコードを改善することで評価に合格するまで自己訂正メカニズムを実装する。
• 成功したChatGPT生成コードのシーケンスから得られるデモンストレーションデータを用いて、実用的で安定したエージェントを訓練する。
• 実行ステップ数と成功確率に基づくタスク難易度指標を統合し、さまざまなタスク複雑度におけるLLMの能力を評価する。
• 訓練されたRobotGPTエージェントを実世界のロボット環境にデプロイし、一般化能力と安定性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT生成コードの安定性と信頼性を向上させるためのフレームワークを設計できるか？
• RQ2 ChatGPT生成コードを直接実行する場合と、その出力から学ぶ訓練済みエージェントとを比較した場合、性能にどのような差が生じるか？
• RQ3 どのようなプロンプト工学戦略が、LLMがロボットタスクと環境をよりよく理解するのを助けるか？
• RQ4 タスクの複雑さが、ロボティクスにおけるLLMベースの計画の成功確率にどの程度影響を与えるか？
• RQ5 LLM駆動エージェントは、オープンエンドのロボットタスク実行において、人間のプログラマーを上回ることができるか？

主な発見

• RobotGPTはシミュレーション環境で91.5％のタスク成功率を達成した。これは、ChatGPTを直接使用した場合の38.5％から顕著に向上した結果である。
• 繰り返しのコード訂正と検証により、配置精度の誤差に起因するタスク失敗が削減された。
• 部屋の片付けや単語の綴りといったオープンエンドタスクでは、RobotGPTが人間参加者を上回り、7文字の最良成績を記録した人間とは対照的に9文字の単語（'backfield'）を生成した。
• ABテストにおいて、経験豊富なプログラマーによる手動コーディングと比較して、RobotGPTはコード品質（0.762 対 0.70）が高く、時間消費量も短縮（221.8秒 対 554.9秒）された。
• タスク難易度指標は、タスクの複雑さが増すと成功確率が低下する傾向にあるが、RobotGPTはすべての複雑度レベルで高い性能を維持していた。
• 本システムは実世界のロボット環境でも正常にデプロイされ、運用され、シミュレーションを超えた実用的妥当性が確認された。