[论文解读] Integration of Large Language Models within Cognitive Architectures for Autonomous Robots

Miguel Á. González-Santamarta, González-Fernández, Irene+3 more|arXiv (Cornell University)|Sep 26, 2023

AI-based Problem Solving and PlanningComputer Science被引用 3

一句话总结

本文提出将量化的大规模语言模型（LLMs）集成到使用 llama_ros ROS 2 工具的 MERLIN2 认知架构中，以实现基于 LLM 的推理，替代传统的 PDDL 规划。尽管 LLM 提升了自然语言交互能力和灵活性，但实验表明，PDDL 基于的规划在时间与移动距离方面仍显著更高效，LLM 的耗时为原始 PDDL 方法的 1.5 至 3.2 倍，且任务场景中行进距离接近翻倍。

ABSTRACT

Symbolic reasoning systems have been used in cognitive architectures to provide inference and planning capabilities. However, defining domains and problems has proven difficult and prone to errors. Moreover, Large Language Models (LLMs) have emerged as tools to process natural language for different tasks. In this paper, we propose the use of LLMs to tackle these problems. This way, this paper proposes the integration of LLMs in the ROS 2-integrated cognitive architecture MERLIN2 for autonomous robots. Specifically, we present the design, development and deployment of how to leverage the reasoning capabilities of LLMs inside the deliberative processes of MERLIN2. As a result, the deliberative system is updated from a PDDL-based planner system to a natural language planning system. This proposal is evaluated quantitatively and qualitatively, measuring the impact of incorporating the LLMs in the cognitive architecture. Results show that a classical approach achieves better performance but the proposed solution provides an enhanced interaction through natural language.

研究动机与目标

• 将大规模语言模型（LLMs）集成到基于 ROS 2 的自主机器人认知架构中。
• 开发一种轻量级、高效且可部署的 LLM 推理工具，专为嵌入式机器人系统设计。
• 评估以 LLM 基于的推理替代 PDDL 基于规划在决策性能与系统效率方面的实际影响。
• 探索在现实机器人任务中使用 LLM 作为推理引擎的可行性，同时应对提示敏感性和幻觉等问题。
• 为研究人员提供一个实用的、开源的框架（llama_ros），用于将量化 LLM 集成到机器人软件栈中。

提出的方法

• 开发了 llama_ros，一个兼容 ROS 2 的工具，为 Ggerganov 的 llama.cpp 库提供绑定并支持 GPU，实现高效的离线 LLM 推理。
• 将 LLM 集成到 MERLIN2 认知架构中，作为 PDDL 基于规划层的替代方案，采用思维链（chain-of-thought）提示策略。
• 采用模型量化（如 GGUF 格式）以降低计算与内存需求，实现在资源受限机器人平台上的部署。
• 使用向量数据库存储并检索世界状态信息，减少提示长度并提升推理过程中的检索效率。
• 设计了反馈回路，使 LLM 在每次动作后检查目标是否达成，若未达成则触发重规划。
• 在仿真环境中使用 RB1 机器人开展受控实验，对比 LLM 基于规划（FI、NEI、NCGI、NENCGSI）与原始 PDDL 基于 MERLIN2 系统的性能。

实验结果

研究问题

• RQ1 LLM 是否能在保持可接受性能的前提下，有效替代自主机器人认知架构中的 PDDL 基于规划？
• RQ2 在执行时间与路径效率方面，LLM 基于推理与传统 PDDL 规划之间的定量与定性权衡如何？
• RQ3 提示工程与向量数据库的使用如何影响机器人决策中 LLM 基于推理的可靠性与效率？
• RQ4 LLM 在目标验证过程中在多大程度上会出现幻觉现象，这对系统鲁棒性有何影响？
• RQ5 量化 LLM 是否能通过 ROS 2 实现高效部署于实时机器人系统中？支持此类部署所需的基础设施是什么？

主要发现

• PDDL 基于的 MERLIN2 规划器在所有任务场景中均优于所有 LLM 基于方法，执行时间比 LLM 变体快 1.5 至 3.2 倍。
• 在任务 1 中，LLM 基于的 FI 方法平均耗时 257.763 秒，而 MERLIN2 仅耗时 162.720 秒，时间增加 1.58 倍。
• 在任务 2 中，LLM 基于的 NENCGSI 方法平均耗时 508.021 秒，而 MERLIN2 仅耗时 257.763 秒，时间增加 1.96 倍。
• LLM 基于系统行进距离显著更长：任务 1 平均 53.100 米，任务 2 平均 53.701 米，而 MERLIN2 分别为 62.957 米与 53.100 米，表明导航效率更低。
• NCGI 变体（使用向量数据库）在两个任务中的执行时间均比 NEI 高 1.2 倍，表明检索开销增加了延迟。
• 量化 LLM 比全精度模型对提示变化更敏感，需精心设计提示以保证行为一致性。