[論文レビュー] A Survey on Large Language Model based Autonomous Agents

Lei Wang, Chen Ma+11 more|arXiv (Cornell University)|Aug 22, 2023

Topic Modeling被引用数 113

ひとこと要約

本調査は LLM ベースの自律エージェントを総合的に分析・統合し、統一アーキテクチャ（プロファイリング、メモリ、プランニング、アクション）を提案し、構築・応用・評価をレビューし、分類と今後の方向性を提示する。

ABSTRACT

Autonomous agents have long been a prominent research focus in both academic and industry communities. Previous research in this field often focuses on training agents with limited knowledge within isolated environments, which diverges significantly from human learning processes, and thus makes the agents hard to achieve human-like decisions. Recently, through the acquisition of vast amounts of web knowledge, large language models (LLMs) have demonstrated remarkable potential in achieving human-level intelligence. This has sparked an upsurge in studies investigating LLM-based autonomous agents. In this paper, we present a comprehensive survey of these studies, delivering a systematic review of the field of LLM-based autonomous agents from a holistic perspective. More specifically, we first discuss the construction of LLM-based autonomous agents, for which we propose a unified framework that encompasses a majority of the previous work. Then, we present a comprehensive overview of the diverse applications of LLM-based autonomous agents in the fields of social science, natural science, and engineering. Finally, we delve into the evaluation strategies commonly used for LLM-based autonomous agents. Based on the previous studies, we also present several challenges and future directions in this field. To keep track of this field and continuously update our survey, we maintain a repository of relevant references at https://github.com/Paitesanshi/LLM-Agent-Survey.

研究の動機と目的

• LLMs がなぜ自律エージェントを実現しているのか、以前の研究のギャップを説明する。
• 既存のほとんどの LLM ベースのエージェント設計を包含できる統一アーキテクチャの枠組みを提示する。
• エージェントの能力と限界を理解するために、メモリ、プランニング、プロファイリングモジュールを調査する。
• 社会科学・自然科学・工学にまたがる応用を要約し、評価手法を論じる。
• LLM ベースの自律エージェントの研究を導く課題と今後の方向性を特定する。

提案手法

• プロファイリング、メモリ、プランニング、アクションモジュールを含む統一エージェントアーキテクチャを提案する。
• メモリ構造を短期（統一型）と長期の格納・検索を伴うハイブリッドメモリに分類する。
• フィードバック有り・無しのプランニング戦略を調査し、シングルパス、多経路、および外部プランナーの統合を含む。
• プロファイリング戦略（ハンドクラフト、LLM生成、データセット整合）とそれらがエージェントの挙動に与える影響を検討する。
• 外部リソースと既往研究を要約して分類体系を構築し、将来の開発を導く。

Figure 1: Illustration of the growth trend in the field of LLM-based autonomous agents. We present the cumulative number of papers published from January 2021 to August 2023. We assign different colors to represent various agent categories. For example, a game agent aims to simulate a game-player, w

実験結果

リサーチクエスチョン

• RQ1 LLMs を自律エージェントとして活用する際に最も効果的なアーキテクチャとモジュールは何か？
• RQ2 メモリとプランニング戦略は、オープン環境におけるエージェントの性能と信頼性にどのように寄与するか？
• RQ3 意図した役割に挙げて挙動を一致させるためのエージェントのプロファイリングのベストプラクティスは何か？
• RQ4 LLM ベースのエージェントはどのように評価され、ベンチマーキングにはどんな課題が残っているか？

主な発見

• 統一された四モジュールのフレームワーク（プロファイリング、メモリ、プランニング、アクション）は、これまでのほとんどの LLM ベースのエージェント設計を包含できる。
• 短期と長期のメモリを組み合わせたハイブリッドメモリは、長距離推論と一貫性を向上させるために一般的に用いられている。
• フィードバック（環境、人的、モデル）を伴うプランニングは、フィードバックなしのプランニングより計画の頑健性を高める。
• メモリは自然言語、埋め込み、データベース、または構造化リストに格納でき、効果を得るために形式が組み合わされることが多い。
• 研究者は単一路線・多経路プランニング、外部プランナー、フィードバック駆動ループを活用して複雑なタスクに対処する。

Figure 2: A unified framework for the architecture design of LLM-based autonomous agent.