[论文解读] LLM as A Robotic Brain: Unifying Egocentric Memory and Control

Jinjie Mai, Jun Chen+4 more|arXiv (Cornell University)|Apr 19, 2023

Multimodal Machine Learning Applications被引用 10

一句话总结

这篇论文提出 LLM-Brain，它是一种框架，使用大型语言模型作为机器人大脑，统一自我中心记忆与控制，使感知、规划、控制和记忆能够实现零-shot、多模态、闭环对话，适用于感知、规划、控制和记忆，已在主动探索和具身问答任务中得到演示。

ABSTRACT

Embodied AI focuses on the study and development of intelligent systems that possess a physical or virtual embodiment (i.e. robots) and are able to dynamically interact with their environment. Memory and control are the two essential parts of an embodied system and usually require separate frameworks to model each of them. In this paper, we propose a novel and generalizable framework called LLM-Brain: using Large-scale Language Model as a robotic brain to unify egocentric memory and control. The LLM-Brain framework integrates multiple multimodal language models for robotic tasks, utilizing a zero-shot learning approach. All components within LLM-Brain communicate using natural language in closed-loop multi-round dialogues that encompass perception, planning, control, and memory. The core of the system is an embodied LLM to maintain egocentric memory and control the robot. We demonstrate LLM-Brain by examining two downstream tasks: active exploration and embodied question answering. The active exploration tasks require the robot to extensively explore an unknown environment within a limited number of actions. Meanwhile, the embodied question answering tasks necessitate that the robot answers questions based on observations acquired during prior explorations.

研究动机与目标

• 在具身AI系统中推动记忆与控制的整合。
• 提出一个通用框架（LLM-Brain），以大型语言模型作为中心机器人大脑。
• 利用零样本学习和多模态语言模型，通过自然语言实现感知、规划、控制与记忆。"
• 在两个下游任务上演示该框架：主动探索与具身问答。

提出的方法

• 引入 LLM-Brain 框架以统一自我中心记忆与控制。
• 结合多模态语言模型用于机器人任务。
• 通过闭环多轮对话，使用零样本学习和自然语言进行所有组件。
• 将自我中心记忆管理与机器人控制嵌入具身LLM中。
• 通过单一对话接口实现感知、规划、控制与记忆。
• 在主动探索与具身问答任务上展示有效性。

实验结果

研究问题

• RQ1 如何在一个基于LLM的框架下统一自我中心记忆与机器人控制？
• RQ2 一个零样本、多模态的LLM系统能否通过自然语言对话执行主动探索与具身问答？
• RQ3 感知、规划和记忆在由LLM驱动的闭环具身AI系统中扮演什么角色？
• RQ4 具身LLM如何在多轮交互中处理记忆维护和行动选择？

主要发现

• 该框架在两个下游任务上得到演示：主动探索和具身问答。
• 主动探索需要在有限的动作内进行广泛的环境探索。
• 具身问答需要基于探索过程中的观察来回答问题。
• 系统在闭环对话中使用自然语言来协调感知、规划、控制和记忆。