[論文レビュー] ChatGPT for Robotics: Design Principles and Model Abilities

Sai Vemprala, Rogerio Bonatti+2 more|arXiv (Cornell University)|Feb 20, 2023

Topic Modeling被引用数 90

ひとこと要約

本論文は自己回帰ロボティクスの知覚-行動因果トランスフォーマー（PACT）を研究し、データ収集、トークン化、モデルサイズ、シーケンス長がリアルタイムのナビゲーションと行動予測に及ぼす影響を検討します。モデル容量、推論速度、デプロイ性能のトレードオフを強調しています。

ABSTRACT

This paper presents an experimental study regarding the use of OpenAI's ChatGPT for robotics applications. We outline a strategy that combines design principles for prompt engineering and the creation of a high-level function library which allows ChatGPT to adapt to different robotics tasks, simulators, and form factors. We focus our evaluations on the effectiveness of different prompt engineering techniques and dialog strategies towards the execution of various types of robotics tasks. We explore ChatGPT's ability to use free-form dialog, parse XML tags, and to synthesize code, in addition to the use of task-specific prompting functions and closed-loop reasoning through dialogues. Our study encompasses a range of tasks within the robotics domain, from basic logical, geometrical, and mathematical reasoning all the way to complex domains such as aerial navigation, manipulation, and embodied agents. We show that ChatGPT can be effective at solving several of such tasks, while allowing users to interact with it primarily via natural language instructions. In addition to these studies, we introduce an open-sourced research tool called PromptCraft, which contains a platform where researchers can collaboratively upload and vote on examples of good prompting schemes for robotics applications, as well as a sample robotics simulator with ChatGPT integration, making it easier for users to get started with using ChatGPT for robotics.

研究の動機と目的

• 知覚-行動因果トランスフォーマーを自律ロボティクスのタスクに対して事前学習させる方法を理解する。
• データセットサイズ、モデルの深さ、シーケンス長がナビゲーションの精度と待機時間に及ぼす影響を評価する。
• ロボット制御における時間的依存性がどのようにモデリングされているかを解釈するために、アテンションパターンを分析する。
• ロボットプラットフォーム上で異なるモデルサイズのリアルタイムデプロイメントを検討する。

提案手法

• 実オフィスの平面図でMPC駆動の軌道ライブラリを用いたMuSHRとHabitat環境で知覚-行動データを収集する。
• RGBはResNet-18、2D LiDARはPointNet、実世界データのBEV LiDARはResNet-18を用いたモダリティごとのバックボーンでセンサモダリティをトークン化する。
• 離散行動を埋め込みに、連続行動を単純なMLPを通じて128次元のトークンとして生成する。
• リニアアップ学習率とウェイトデケイを用いて、トランスフォーマー（12層、8ヘッド、埋め込み長128、シーケンス長16）で事前学習し、微調整はより小さな学習率で行う。
• モデルバリアント（3, 6, 12, 24層）を、クラッシュ前の移動距離[m]などのナビゲーション指標と行動予測MAEで評価し、アテンションマップとシーケンス長の効果を分析する。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズは、ロボット制御における事前学習の性能とリアルタイムのナビゲーション安定性にどう影響するか？
• RQ2 学習データサイズがPACTモデルの行動予測とデプロイ性能に与える影響は？
• RQ3 シーケンス長とアテンションパターンがロボットタスクの行動予測精度と解釈性にどう影響するか？
• RQ4 リアルタイムロボティクス展開における推論時間と精度のトレードオフは、モデルバリアント間でどうなるか？
• RQ5 Habitatの下流タスク（マッピング/ローカリゼーション）は、PACT由来の凍結表現と訓練可能表現にどのように反応するか？

主な発見

• トレーニングトークンを増やすと、一般にモデルの事前学習性能が向上する。
• より大規模なトランスフォーマーモデルは、推論待機時間が長くなるため、リアルタイムナビゲーションを必ずしも改善しない（例：24層モデルは3層モデルより遅い）。
• アテンションマップは時間順の依存関係を示し、いくつかのヘッドは開始点や状態変化点に焦点を合わせ、層によって異なる。
• より長いトランスフォーマーのシーケンスは行動予測MAEを低減するが、学習とデプロイの待機時間を増加させる。16トークンのシーケンスが有利なトレードオフを提供する。
• 実践的には長いシーケンスはより良い行動予測をもたらすが、デプロイの待機時間はリアルタイムの制約とバランスを取る必要がある。
• Habitatの下流タスクの視覚的結果は、ゼロから訓練した表現とPACTから訓練した凍結表現および訓練可能表現の結果を示している。