[論文レビュー] Agent as Cerebrum, Controller as Cerebellum: Implementing an Embodied LMM-based Agent on Drones

Haoran Zhao, Fengxing Pan+2 more|arXiv (Cornell University)|Nov 25, 2023

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文は、産業用ドローン用途を想定した、Large Multimodal Model (LMM) を搭載したエージェントである AeroAgent を用いた、『エージェントを大脳、コントローラーを小脳』とする新規なアーキテクチャを提案する。高レベルの推論（エージェント）とリアルタイム制御（コントローラー）を分離し、カスタム ROSchain フレームワークを介して統合することで、シミュレーション（Airgen）および実世界の試験の両方で、探索救助作業などの複雑な現実世界タスクにおいて、DRLベースのエージェントを上回る優れた性能を達成した。

ABSTRACT

In this study, we present a novel paradigm for industrial robotic embodied agents, encapsulating an 'agent as cerebrum, controller as cerebellum' architecture. Our approach harnesses the power of Large Multimodal Models (LMMs) within an agent framework known as AeroAgent, tailored for drone technology in industrial settings. To facilitate seamless integration with robotic systems, we introduce ROSchain, a bespoke linkage framework connecting LMM-based agents to the Robot Operating System (ROS). We report findings from extensive empirical research, including simulated experiments on the Airgen and real-world case study, particularly in individual search and rescue operations. The results demonstrate AeroAgent's superior performance in comparison to existing Deep Reinforcement Learning (DRL)-based agents, highlighting the advantages of the embodied LMM in complex, real-world scenarios.

研究の動機と目的

• エンドツーエンドの深層強化学習（DRL）エージェントが産業用ドローンに抱える、一般化性能の低さ、推論速度の遅さ、シミュレーションから現実への移行の難しさといった課題に対処すること。
• 大規模マルチモodal モデル（LMM）を用いてドローンにおける高レベルの推論とタスク計画を可能にするとともに、リアルタイム制御を既存のロボットコントローラーに委ねること。
• LMM ベースのエージェントと現実世界のロボットシステムの間のギャップを埋めるために、ROS 通信をシームレスに可能にする専用統合フレームワークである ROSchain の開発。
• 特に動的で構造のない環境（例：探索救助作業）における複雑な現実世界の産業的応用シーンにおいて、提案アーキテクチャの有効性を検証すること。

提案手法

• 高レベルの推論とタスク計画を支援するため、マルチモーダルメモリ、身体化計画生成モジュール、統合アクションライブラリを備えたエージェントアーキテクチャ、AeroAgent を設計。
• LMM ベースのエージェントを戦略的意思決定の『大脳』として機能させ、ドローンのネイティブ飛行コントローラーをリアルタイムで低レベルの作動を担う『小脳』として機能させる、分離型制御パラダイムを採用。
• LMM ベースのエージェントとロボットオペレーティングシステム（ROS）間の安全で低遅延な通信を実現するため、ROS との連携を最適化したカスタムミドルウェアフレームワーク ROSchain を開発。
• ハイブリッド計画メカニズムを採用：エージェントがマルチモーダル推論を用いて高レベルの経路ポイントとタスクシーケンスを生成し、それをドローンのネイティブ制御システムで実行。
• 再トレーニングなしに、新規または未知の状況に適応できるよう、エージェントのメモリおよび計画モジュールで少サンプル学習と自己内省的推論を活用。
• 障害物回避と優先順位管理を飛行制御レイヤーに統合し、タスク実行中の安全なナビゲーションを確保。

実験結果

リサーチクエスチョン

• RQ1 LMM ベースのエージェントは、低レベルアクチュエータへの直接制御を持たない状態でも、産業用ドローンで複雑な高レベルタスクを効果的に管理できるか？
• RQ2 エージェントとコントローラーを分離したアーキテクチャは、実世界のドローン応用において、エンドツーエンドの DRL ベースエージェントと比較して、性能と頑健性をどのように向上させるか？
• RQ3 ROSchain フレームワークは、LMM エージェントと ROS ベースのロボットシステムとの間で、信頼性の高い低遅延統合をどの程度実現できるか？
• RQ4 エージェントは、特に構造のない現実世界の環境（例：探索救助）において、新しいタスクや環境にどの程度一般化できるか？
• RQ5 エージェントのマルチモーダルメモリおよび計画モジュールは、少サンプル適応とタスク一般化にどの程度寄与しているか？

主な発見

• AeroAgent は、シミュレーション（Airgen）および実世界の探索救助シナリオの両方で、既存の DRL ベースエージェントを上回り、タスク完了率と頑健性の両面で優れた性能を示した。
• アブレーションスタディにより、ROSchain がシステムの安定性と通信効率を顕著に向上させ、遅延を低減し、リアルタイム応答性を向上させたことが確認された。
• エージェントのマルチモーダルメモリにより、再トレーニングやファインチューニングなしに、新規タスクに対する効果的な少サンプル適応が可能となり、正常に実行が達成された。
• 分離型アーキテクチャにより、リアルタイム制御性能（10ms未塔）が達成され、直接的な LMM 制御に伴う遅延制限を克服した。
• 実世界の試験において、信頼性の高い障害物回避とタスク優先順位管理が実現され、飛行安定性とミッションの整合性が維持された。
• 本フレームワークは、複雑で構造のない環境でも効果的であることが実証され、送電線点検や自律ドローンの群れ制御といった産業的応用の可能性を裏付けた。