[論文レビュー] LLM as A Robotic Brain: Unifying Egocentric Memory and Control

Jinjie Mai, Jun Chen+4 more|arXiv (Cornell University)|Apr 19, 2023

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文は、LLM-Brainというフレームワークを提案する。これは大規模言語モデルをロボットの脳として利用し、自我視点の記憶と制御を統合するフレームワークであるLLM-Brainを提案する。これにより、感知、計画、制御、記憶のゼロショット、マルチモーダル、閉ループ対話を実現し、能動的探索と具象的質問応答で実証される。

ABSTRACT

Embodied AI focuses on the study and development of intelligent systems that possess a physical or virtual embodiment (i.e. robots) and are able to dynamically interact with their environment. Memory and control are the two essential parts of an embodied system and usually require separate frameworks to model each of them. In this paper, we propose a novel and generalizable framework called LLM-Brain: using Large-scale Language Model as a robotic brain to unify egocentric memory and control. The LLM-Brain framework integrates multiple multimodal language models for robotic tasks, utilizing a zero-shot learning approach. All components within LLM-Brain communicate using natural language in closed-loop multi-round dialogues that encompass perception, planning, control, and memory. The core of the system is an embodied LLM to maintain egocentric memory and control the robot. We demonstrate LLM-Brain by examining two downstream tasks: active exploration and embodied question answering. The active exploration tasks require the robot to extensively explore an unknown environment within a limited number of actions. Meanwhile, the embodied question answering tasks necessitate that the robot answers questions based on observations acquired during prior explorations.

研究の動機と目的

• 具象AIシステム内での記憶と制御の統合を動機づける。
• 大規模言語モデルを中央のロボット脳として用いる一般的なフレームワーク（LLM-Brain）を提案する。
• 自然言語を介して感知、計画、制御、記憶を可能にするために、ゼロショット学習とマルチモーダル言語モデルを活用する。
• このフレームワークを二つの下流タスク、能動的探索と具象化質問応答に対して実証する。

提案手法

• 自我記憶と制御を統合するLLM-Brainフレームワークを導入する。
• ロボットタスクのために複数のマルチモーダル言語モデルを組み込む。
• すべての構成要素に対してゼロショット学習と自然言語を用い、閉ループの複数ラウンド対話を介して実現する。
• 自我視点の記憶管理とロボット制御を具象化されたLLM内に組み込む。
• 単一の対話インタフェースを通じて感知、計画、制御、記憶を可能にする。
• 能動的探索と具象化質問応答における有効性を実証する。

実験結果

リサーチクエスチョン

• RQ1 自我視点の記憶とロボット制御を、単一のLLMベースのフレームワークの下でいかに統合できるか？
• RQ2 ゼロショット、マルチモーダルなLLMベースのシステムは、自然言語対話を用いて能動的探索と具象化質問応答を実行できるか？
• RQ3 LLMにより駆動される閉ループの具象AIシステムにおいて、感知、計画、記憶はどのような役割を果たすか？
• RQ4 具象化されたLLMは、複数ラウンドの対話にわたる記憶の維持と行動選択をどう処理するか？

主な発見

• このフレームワークは二つの下流タスク、能動的探索と具象化質問応答に対して実証される。
• 能動的探索には、限定された回数の行動内で広範な環境探索が必要である。
• 具象化質問応答は、探索中に得られた観察に基づいて質問に答える必要がある。
• システムは閉ループ対話で自然言語を用い、感知、計画、制御、記憶を調整する。