[論文レビュー] An In-depth Survey of Large Language Model-based Artificial Intelligence Agents

Pengyu Zhao, Zijian Jin+1 more|arXiv (Cornell University)|Sep 23, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、大規模言語モデル（LLM）に基づく人工知能エージェントに関する包括的なサーベイを提示し、計画、記憶、ツール利用といったコアコンponentsを体系的に分析するとともに、新規の記憶分類スキームを導入している。LLMベースのエージェントと従来のエージェントを対比し、一般化能力および推論能力の優位性を強調するとともに、エージェントアーキテクチャおよびベンチマークの未来の発展における主要な研究方向を同定している。

ABSTRACT

Due to the powerful capabilities demonstrated by large language model (LLM), there has been a recent surge in efforts to integrate them with AI agents to enhance their performance. In this paper, we have explored the core differences and characteristics between LLM-based AI agents and traditional AI agents. Specifically, we first compare the fundamental characteristics of these two types of agents, clarifying the significant advantages of LLM-based agents in handling natural language, knowledge storage, and reasoning capabilities. Subsequently, we conducted an in-depth analysis of the key components of AI agents, including planning, memory, and tool use. Particularly, for the crucial component of memory, this paper introduced an innovative classification scheme, not only departing from traditional classification methods but also providing a fresh perspective on the design of an AI agent's memory system. We firmly believe that in-depth research and understanding of these core components will lay a solid foundation for the future advancement of AI agent technology. At the end of the paper, we provide directional suggestions for further research in this field, with the hope of offering valuable insights to scholars and researchers in the field.

研究の動機と目的

• LLMベースのAIエージェントと従来のAIエージェントを体系的に比較し、自然言語理解、知識保存、推論における利点に焦点を当てる。
• 計画、記憶、ツール利用といったAIエージェントのコアコンponentsを深く分析し、革新的な記憶分類に注目する。
• AgentBench、GentBench、API Bankなどの最近のベンチマークを通じて、LLMベースのエージェントのパフォーマンスを評価する。
• 強化学習ベースのエージェントにおける一般化、報酬設計、ドメイン適応の分野で顕在する主な課題を同定する。
• 実世界の応用におけるLLMベースのエージェント技術を前進させるための実行可能な研究方向を提示する。

提案手法

• 本論文は、アーキテクチャ的コンponentsおよび応用分野に焦点を当てた、LLMベースのAIエージェントに関する体系的な文献レビューを実施している。
• 従来の分類法とは異なり、新たな設計インサイトを提供するため、AIエージェントの記憶に関する新規分類スキームを導入している。
• WebShop、HotPotQA、Minecraftベースのシミュレータ、API Bankを含む多様なベンチマークを用いてエージェントのパフォーマンスを評価している。
• 視覚言語モデル（VLM）を統合したマルチモーダルエージェント（例：PaLM-E、Video-ChatGPT）の分析を通じて、身体的認識や視覚指示追従における推論能力を検証している。
• オープンエンドな環境において、LLMエージェント（例：VOYAGER）と従来の強化学習エージェントを比較分析する手法を含む。
• 特に複雑で多段階的なタスクにおけるツール利用、推論、計画に関する最近の研究の知見を統合し、分析している。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのAIエージェントは、推論、一般化、適応性の観点から、従来のルールベースまたは強化学習ベースのエージェントと根本的にどのように異なるか？
• RQ2 LLMベースのAIエージェントの主要コンポonentsは何か？それらはエージェントの自律性とパフォーマンスにどのように寄与しているか？
• RQ3 従来のカテゴリ（エピソード的記憶、意味的記憶、作業記憶）を超えて、AIエージェントの記憶を体系的に分類する方法は何か？この新しい分類法が示す設計的インサイトは何か？
• RQ4 計画、ツール利用、マルチモーダル推論の分野において、LLMベースのエージェントを評価するのに最も効果的なベンチマークは何か？
• RQ5 実世界の動的環境にLLMベースのエージェントを展開するにあたり、主な課題と未解決の研究課題は何か？

主な発見

• LLMベースのエージェントは、特にMinecraft環境のようなゼロショットまたはフェイシュット設定において、従来の強化学習エージェントに比べて優れた一般化能力とデータ効率を示している。
• 本論文で提案された新規の記憶分類スキームは、従来のエピソード的記憶、意味的記憶、作業記憶の区別を超えた、記憶システム設計のための新規フレームワークを提供している。
• VOYAGERなどのエージェントは、タスク固有の微調整なしにオープンエンドなタスクで優れたパフォーマンスを発揮し、事前学習済みの知識を活用して効果的な計画とツール利用を実現している。
• 視覚言語モデル（例：PaLM-E、Video-ChatGPT）を用いたマルチモーダルエージェントは、視覚的および言語的入力を効果的に統合することで、身体的AIおよび視覚指示追従の分野でパフォーマンスが向上している。
• AgentBench や GentBench などのベンチマークは、LLMベースのエージェントが複雑で多段階的な推論やツール利用において、制限付きまたは動的条件下で依然として課題に直面していることを示している。
• 進展は見られるものの、報酬設計、収束性、ドメイン適応の分野における課題は、強化学習ベースのエージェントを実世界のシナリオに展開する上で依然として大きな障壁である。