[論文レビュー] ChatGPT Empowered Long-Step Robot Control in Various Environments: A Case Application

Naoki Wake, Atsushi Kanehira+3 more|arXiv (Cornell University)|Apr 8, 2023

Artificial Intelligence in Healthcare and Education被引用数 7

ひとこと要約

本論文では、OpenAIのChatGPTが自然言語指示から実行可能で複数ステップにわたるロボット動作計画を生成できる、Few-shotプロンプトフレームワークを提案している。環境の文脈を扱い、トークン制限の影響を軽減する。ターン間で環境状態の推定値を再利用し、自然言語フィードバックをサポートすることで、初回に36%の計画が正しく実行可能となり、フィードバックを経てほぼ100%にまで向上。ロボティクス用途に適したオープンソースでカスタマイズ可能なプロンプトを提供。

ABSTRACT

This paper demonstrates how OpenAI's ChatGPT can be used in a few-shot setting to convert natural language instructions into a sequence of executable robot actions. The paper proposes easy-to-customize input prompts for ChatGPT that meet common requirements in practical applications, such as easy integration with robot execution systems and applicability to various environments while minimizing the impact of ChatGPT's token limit. The prompts encourage ChatGPT to output a sequence of predefined robot actions, represent the operating environment in a formalized style, and infer the updated state of the operating environment. Experiments confirmed that the proposed prompts enable ChatGPT to act according to requirements in various environments, and users can adjust ChatGPT's output with natural language feedback for safe and robust operation. The proposed prompts and source code are open-source and publicly available at https://github.com/microsoft/ChatGPT-Robot-Manipulation-Prompts

研究の動機と目的

• 大規模言語モデル（例：ChatGPT）を用いて、実用的でFew-shot、自然言語からロボット動作へのタスク計画を可能にすること。
• ロボット実行システムや視覚認識パイプラインとシームレスに統合できるプロンプトを設計すること。
• 計画ステップ間で環境状態の記述を再利用することで、トークン制限の影響を軽減すること。
• 自然言語フィードバックによる人間のフィードバックループをサポートし、強固で安全なタスク計画を実現すること。
• ロボティクス分野での広範な採用を可能にする、オープンソースでカスタマイズ可能なプロンプトテンプレートを提供すること。

提案手法

• ChatGPTにタスクプランナーとしての役割を割り当て、ロボットの動作を構造的でJSONパース可能な形式に定義するプロンプトを設計すること。
• 動作の前後で明示的な環境状態表現（例：物体の位置）を統合し、文脈を維持すること。
• 動作後の環境記述を次の計画ステップの入力として再利用することで、プロンプト長を短縮し、状態追跡の必要性を排除すること。
• 行動シーケンスと環境更新の両方を出力するようにプロンプトを構造化し、反復的改善を可能にすること。
• ChatGPTのFew-shot学習および会話機能を活用し、さまざまな指示の表現やユーザーのフィードバックに適応できること。
• データプライバシーとセキュリティ基準への準拠を確保するため、Azure OpenAIを介してデプロイすること。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、多様な家庭環境において、自然言語指示から実行可能で複数ステップにわたるロボット動作計画を生成できるか？
• RQ2 提示されたプロンプト戦略は、長時間スケールのタスク計画におけるトークン制限の影響をどれほど軽減できるか？
• RQ3 自然言語フィードバックは、計画の正しさと実行可能性をどの程度向上できるか？
• RQ4 同じプロンプトテンプレートを再訓練なしで、さまざまなロボット環境に効果的に適応できるか？
• RQ5 指示の表現のバリエーションが生じても、一貫した計画品質を維持できるか？

主な発見

• VirtualHome評価では、初回に36%のタスク計画が正しく実行可能であったが、数回の自然言語フィードバックを経て、正答率はほぼ100%にまで上昇した。
• 本システムは、棚、冷蔵庫、引き出しの前での操作を含む、多様な家庭環境において、有効な行動シーケンスを正常に生成した。
• 指示の表現のバリエーションに対して高いロバスト性を示し、意味的に類似したが表現が異なる入力に対しても一貫した性能を維持した。
• 計画ステップ間で環境状態の記述を再利用することで、プロンプト長が顕著に短縮され、会話履歴を完全に保存する必要がなくなり、状態管理が簡素化された。
• 会話インターフェースにより、ユーザーが自然言語で計画を訂正または調整できる人間中心のフィードバックが効果的に実現された。
• 提案されたプロンプトはオープンソースとして公開されており、ロボティクスコミュニティがカスタマイズ可能で再利用可能なリソースを提供している。