[論文レビュー] AutoAgents: A Framework for Automatic Agent Generation

Guangyao Chen, Siwei Dong+6 more|arXiv (Cornell University)|Sep 29, 2023

Topic Modeling被引用数 5

ひとこと要約

AutoAgentsは、大規模言語モデルを用いて、専門的で役割ベースのエージェントを自動的に生成し、それらを調整することで複雑なタスク解決を実現する動的フレームワークを提案する。タスクを下書き段階と実行段階に分解し、自己および協働的リファインメントを実施することで、推論、知識統合、創造的タスクにおいて、静的マルチエージェントシステムを上回る優れたパフォーマンスを達成する。

ABSTRACT

Large language models (LLMs) have enabled remarkable advances in automated task-solving with multi-agent systems. However, most existing LLM-based multi-agent approaches rely on predefined agents to handle simple tasks, limiting the adaptability of multi-agent collaboration to different scenarios. Therefore, we introduce AutoAgents, an innovative framework that adaptively generates and coordinates multiple specialized agents to build an AI team according to different tasks. Specifically, AutoAgents couples the relationship between tasks and roles by dynamically generating multiple required agents based on task content and planning solutions for the current task based on the generated expert agents. Multiple specialized agents collaborate with each other to efficiently accomplish tasks. Concurrently, an observer role is incorporated into the framework to reflect on the designated plans and agents' responses and improve upon them. Our experiments on various benchmarks demonstrate that AutoAgents generates more coherent and accurate solutions than the existing multi-agent methods. This underscores the significance of assigning different roles to different tasks and of team cooperation, offering new perspectives for tackling complex tasks. The repository of this project is available at https://github.com/Link-AGI/AutoAgents.

研究の動機と目的

• 多様なタスクに応じて事前に定義された手作業によるエージェントに依存する既存のマルチエージェントシステムの柔軟性の欠如を解決すること。
• 異なるドメインに特化したエキスパートエージェントを手作業で設計する際の人的リソースの高コストと柔軟性の欠如を克服すること。
• 複雑で多様なドメインにまたがる問題の要件に適応する動的でタスク特化型のエージェントチーム形成を可能にすること。
• 生成されたエージェント間の自己自己反省と協働的リファインメントメカニズムを通じて、解決の質を向上させること。
• 創造的ライティングやソフトウェア開発を含む多様で複雑なタスクにおいて、フレームワークの有効性を実証すること。

提案手法

• プロンプト工学と役割特化型の指示を用いて、タスクの内容に基づき動的に専門的エージェントを生成する。
• 2段階のプロセスに構造化する：(1) 下書き段階—事前に定義されたエージェント（プランナー、エージェントオブザーバー、プランオブザーバー）が協働してチームと計画を生成する；(2) 実行段階—エージェントがフィードバックループを伴いながら協働して出力を生成する。
• 実行中に行動を調整し、情報共有とコンSENSUSの維持を図るために、アクションオブザーバーというエージェントを導入する。
• 個々のエージェントが内部の自己反省を通じて自身の出力を改善する自己リファインメントを実装する。
• 複数のエージェントがクロスドメインの知識統合を用いて計画と出力を共同で見直す協働的リファインメントを適用する。
• GPT-4を基盤となるLLMとして採用し、ストーリープランナー、リサーチャー、キャラクターディベロッパー、ライターなどの役割に特化したプロンプトをカスタマイズしてエージェントの生成と調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 静的または手作業によるエージェントシステムと比較して、動的エージェント生成が複雑で多様なドメインのタスクにおいて著しくパフォーマンスを向上させるか。
• RQ2 自己反省と協働的リファインメントは、エージェントの熟練度と解決策の整合性を向上させるためにどの程度効果的か。
• RQ3 役割特化とチーム協調が、LLMベースのエージェントにおける推論と知識統合をどの程度向上させるか。
• RQ4 創造的ライティングやソフトウェア開発を含む多様なタスクに、このフレームワークはどの程度一般化可能か。
• RQ5 計画の正確性と役割の明確さという観点から、動的エージェント生成の限界は何か。

主な発見

• AutoAgentsは、ベンチマークタスクにおいて、既存のマルチエージェントフレームワークを上回る知識収集能力と推論能力を示した。
• 特にクロスドメインの知識統合を要するタスクにおいて、単一エージェントベースラインや静的マルチエージェントシステムよりも、より整合性があり正確な解決策を生成した。
• 動的エージェント生成により、オープンエンドな創造的ライティングやソフトウェア開発のシナリオにおいて、複雑なタスクへの適応性が向上したことが実証された。
• 自己反省と協働的リファインメントは解決策の質を顕著に向上させ、エージェントはより一貫性があり信頼性の高い出力を生成した。
• アクションオブザーバーの導入により、協調性とコンセンサス形成が向上し、衝突が減少し、実行効率が向上した。
• 事例研究では、AutoAgentsが複雑なタスクを構造的なワークフローに分解し、ドメイン特化型エージェントを生成することで、整合性と関連性を維持できることを示した。