[论文解读] Agent as Cerebrum, Controller as Cerebellum: Implementing an Embodied LMM-based Agent on Drones

Haoran Zhao, Fengxing Pan+2 more|arXiv (Cornell University)|Nov 25, 2023

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出了一种新颖的“代理作为大脑，控制器作为小脑”架构，利用基于大型多模态模型（LMM）的代理AeroAgent，应用于工业无人机场景。通过将高层推理（代理）与实时控制（控制器）解耦，并借助定制的ROSchain框架实现集成，该系统在复杂真实任务（如搜救）中表现出色，优于基于深度强化学习（DRL）的代理，在仿真（Airgen）和真实世界试验中均表现更优。

ABSTRACT

In this study, we present a novel paradigm for industrial robotic embodied agents, encapsulating an 'agent as cerebrum, controller as cerebellum' architecture. Our approach harnesses the power of Large Multimodal Models (LMMs) within an agent framework known as AeroAgent, tailored for drone technology in industrial settings. To facilitate seamless integration with robotic systems, we introduce ROSchain, a bespoke linkage framework connecting LMM-based agents to the Robot Operating System (ROS). We report findings from extensive empirical research, including simulated experiments on the Airgen and real-world case study, particularly in individual search and rescue operations. The results demonstrate AeroAgent's superior performance in comparison to existing Deep Reinforcement Learning (DRL)-based agents, highlighting the advantages of the embodied LMM in complex, real-world scenarios.

研究动机与目标

• 为解决端到端深度强化学习（DRL）代理在工业无人机中存在的一般化能力差、推理速度慢以及仿真到现实的迁移问题等局限性。
• 利用大型多模态模型（LMMs）实现无人机的高层推理与任务规划，同时将实时控制任务交由成熟的机器人控制器处理。
• 通过开发专用的集成框架ROSchain，弥合基于LMM的代理与真实世界机器人系统之间的鸿沟，实现与ROS的无缝通信。
• 在复杂真实工业场景中验证所提架构的有效性，特别是在动态且非结构化环境（如搜救任务）中的表现。

提出的方法

• 设计了一种名为AeroAgent的代理架构，包含多模态记忆、具身规划生成器以及集成动作库，以支持高层推理与任务规划。
• 采用解耦控制范式，其中基于LMM的代理作为‘大脑’负责战略决策，而无人机原生飞行控制器则作为‘小脑’负责实时低层执行。
• 开发了ROSchain，一种定制中间件框架，实现基于LMM的代理与机器人操作系统（ROS）之间的安全、低延迟通信，确保与现有无人机控制栈的兼容性。
• 采用混合规划机制：代理通过多模态推理生成高层航点与任务序列，再由无人机原生控制系统执行。
• 在代理的记忆与规划模块中引入少样本学习与内省推理，使其无需微调或重新训练即可适应新场景或未见情境。
• 将障碍物规避与优先级管理集成至飞行控制层，确保任务执行过程中的安全导航。

实验结果

研究问题

• RQ1 基于LMM的代理是否能在不直接控制低层执行器的情况下，有效管理工业无人机中的复杂高层任务？
• RQ2 与端到端DRL代理相比，解耦的代理-控制器架构在真实世界无人机应用中如何提升性能与鲁棒性？
• RQ3 ROSchain框架在多大程度上实现了LMM代理与基于ROS的机器人系统之间可靠、低延迟的集成？
• RQ4 该代理在新任务与新环境中的泛化能力如何，特别是在非结构化真实环境（如搜救）中？
• RQ5 代理的多模态记忆与规划模块对少样本适应与任务泛化起到了何种贡献？

主要发现

• AeroAgent在仿真（Airgen）和真实世界搜救场景中均优于现有DRL代理，展现出更高的任务完成率与更强的鲁棒性。
• 消融实验表明，ROSchain显著提升了系统稳定性与通信效率，降低了延迟并增强了实时响应能力。
• 代理的多模态记忆实现了对新任务的有效少样本适应，可在无需重新训练或微调的情况下成功执行。
• 解耦架构实现了毫秒级实时控制性能（响应时间低于10ms），适用于动态飞行，克服了直接使用LMM控制带来的延迟瓶颈。
• 在真实世界试验中，系统表现出可靠的障碍物规避与任务优先级管理能力，维持了飞行稳定与任务完整性。
• 该框架在复杂非结构化环境中表现良好，验证了其在工业应用（如电力线路巡检与自主无人机群控）中的潜力。