[論文レビュー] MetaAgents: Large Language Model Based Agents for Decision-Making on Teaming

Yuan Li, Lichao Sun+1 more|arXiv (Cornell University)|Oct 10, 2023

Topic Modeling被引用数 18

ひとこと要約

本論文は、MetaAgents というマルチモジュール型フレームワークを提案し、LLMベースのエージェントが協力・調整・ワークフローを形成して、就職フェアのシミュレーションでチームベースの課題を解決する。

ABSTRACT

Significant advancements have occurred in the application of Large Language Models (LLMs) for social simulations. Despite this, their abilities to perform teaming in task-oriented social events are underexplored. Such capabilities are crucial if LLMs are to effectively mimic human-like social behaviors and form efficient teams to solve tasks. To bridge this gap, we introduce MetaAgents, a social simulation framework populated with LLM-based agents. MetaAgents facilitates agent engagement in conversations and a series of decision making within social contexts, serving as an appropriate platform for investigating interactions and interpersonal decision-making of agents. In particular, we construct a job fair environment as a case study to scrutinize the team assembly and skill-matching behaviors of LLM-based agents. We take advantage of both quantitative metrics evaluation and qualitative text analysis to assess their teaming abilities at the job fair. Our evaluation demonstrates that LLM-based agents perform competently in making rational decisions to develop efficient teams. However, we also identify limitations that hinder their effectiveness in more complex team assembly tasks. Our work provides valuable insights into the role and evolution of LLMs in task-oriented social simulations.

研究の動機と目的

• タスク指向の社会的設定において、協働能力を持つ LLM-based エージェントの必要性を動機づける。
• エージェント間の協調行動を可能にする、perception, memory, reasoning, execution を含むマルチモジュール・フレームワークを提案する。
• 協働的な生成エージェントが、就職フェアのシミュレーションで一体感のあるチームを形成し、役割を割り当て、ワークフローを設計できるかを評価する。
• より多くのエージェントを調整し、彼らの目的を整合させる際の制約と課題を検討する。

提案手法

• 協働生成エージェントのための四モジュール・アーキテクチャを導入する：perception, memory, reasoning, and execution。
• 会話からの主要テーマとハイライトされた用語を保持して堅牢なメモリ取得を支援する、メモリ機構を実装する。
• 協調的な行動を導くための、計画生成、リフレクション、目標更新を含む reasoning モジュールを使用する。
• 各エージェントの能力に応じた行動を実行できる関数のスキルプールを備えた execution モジュールを提供する。
• 情報処理、採用、およびワークフロー設計を研究するため、採用エージェントと就職希望エージェントを含む就職フェア風のシミュレーションを展開する。

Figure 1: MetaAgents : Collaborative generative agents exhibit human-like behaviors and capabilities in task-solving. In this work, we situate collaborative generative agents in a job fair context recruiting capable agents for team projects. This job fair context enables collaborative generative age

実験結果

リサーチクエスチョン

• RQ1 協働生成エージェントは、就職フェアのシミュレーションで一体感のあるチームを形成し、タスクを完了できるか。
• RQ2 エージェントは個々の専門知識を活用するワークフローを動的に作成して、チームプロジェクトを進行できるか。
• RQ3 参加エージェントの数が増えるにつれて、主な調整上の課題は何か。
• RQ4 reasoning モジュールは、タスク指向の協調の性能にどのような影響を与えるか。

主な発見

• エージェントは、チームのワークフローを理解し、会話から得られる情報を活用して共同作業者を特定し、タスクを委任する能力を示す。
• エージェント数が増えると、LLMs の目的や意図の不整合により調整性能が低下する。
• reasoning モジュールは、エージェント間のタスク指向の協調を高めるうえで重要な役割を果たす。
• 本フレームワークは、就職フェアのシナリオにおいて、エージェントが標準的な開発プロセス（例：ウォーターフォールモデル）に整合したチームワークフローを形成できることを示している。

Figure 2: The interactions between recruiting agents and job-seeking agents are shaped by a mutual selection procedure.