[論文レビュー] A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration

Zijun Liu, Yanzhe Zhang+3 more|arXiv (Cornell University)|Oct 3, 2023

Topic Modeling被引用数 17

ひとこと要約

tldr: DyLAN は、推論時のエージェント選択と早期停止を備えた、動的で多ラウンドの LLM-エージェント協調フレームワークを作成し、エージェントチームを最適化するための監督なしの Agent Importance Score を追加し、推論とコード生成タスク全体で精度を向上させ、効率を改善します。

ABSTRACT

Recent studies show that collaborating multiple large language model (LLM) powered agents is a promising way for task solving. However, current approaches are constrained by using a fixed number of agents and static communication structures. In this work, we propose automatically selecting a team of agents from candidates to collaborate in a dynamic communication structure toward different tasks and domains. Specifically, we build a framework named Dynamic LLM-Powered Agent Network ($ extbf{DyLAN}$) for LLM-powered agent collaboration, operating a two-stage paradigm: (1) Team Optimization and (2) Task Solving. During the first stage, we utilize an $ extit{agent selection}$ algorithm, based on an unsupervised metric called $ extit{Agent Importance Score}$, enabling the selection of best agents according to their contributions in a preliminary trial, oriented to the given task. Then, in the second stage, the selected agents collaborate dynamically according to the query. Empirically, we demonstrate that DyLAN outperforms strong baselines in code generation, decision-making, general reasoning, and arithmetic reasoning tasks with moderate computational cost. On specific subjects in MMLU, selecting a team of agents in the team optimization stage improves accuracy by up to 25.0% in DyLAN.

研究の動機と目的

• ドメインを超えて一般化する、タスク非依存で効率的なマルチエージェント LLM 協調フレームワークの必要性を動機づける。
• 時間ステップの依存関係を持つ多層ネットワークのノードとしてエージェントが機能する、ダイナミックな相互作用アーキテクチャを提案する。
• 精度を損なうことなく効率を高めるための推論時エージェント選択と早期停止機構を導入する。
• 自律しない Agent Importance Score に基づく自動的なエージェントチーム最適化アルゴリズムを開発し、トップパフォーマンスのエージェントを選択する。

提案手法

• 時間ステップにおけるエージェントをノードとし、メッセージをエッジとする多層前向きネットワークとして LLM-エージェント協調を定式化する。
• 推論時のエージェント選択を実行し、後続のステップで低パフォーマンスのエージェントを停止させるために LLM によるランカーを活用する。
• レイヤーが合意に達したとき（または最大ステップに到達したとき）に推論を終了させるため、Byzantine- consensus に触発された早期停止を適用する。
• 3段階のプロセスで Agent Importance Score を導入する：伝搬（前任者を評価）、集約（後続の寄与を評価によって重みづけして合計）、選択（総重要度で上位 k エージェントを選ぶ）。
• 相互作用アーキテクチャをタスク固有の設計から切り離すことでタスク非依存設計を実証し、推論とコード生成タスクで検証する。）

実験結果

リサーチクエスチョン

• RQ1 LLM-エージェント協調を、異なるクエリに適応する動的でタスク非依存のアーキテクチャにどのように組織できるか？
• RQ2 推論時のエージェント選択と早期停止は、推論とコード生成タスク全体で精度を損なうことなく効率を改善するか？
• RQ3 監督なしの Agent Importance Score は、異なるドメインに対して最適なエージェントのサブセットを信頼性高く識別できるか？
• RQ4 動的アーキテクチャとエージェントチーム最適化によって、静的な単一エージェントのベースラインと比較してどの程度の性能向上が達成可能か？

主な発見

• DyLAN は Baselines より MATH で高い精度を達成（CoT 付きの単一実行より +4.1）、HumanEval でも（GPT-4 バックボーンで）+9.7。
• MMLU では、エージェントチーム最適化により特定の科目で精度が最大 25.0% 向上。
• DyLAN は API 呼び出しを削減し、より良い効率を達成（例：一部のケースで CodeT/LLM Debate API 使用量の 36.6%）。
• Agent Importance Score によるチーム最適化は、小規模でタスクに特化したエージェントセットで顕著な性能向上を実現（例：7→4 エージェントで顕著な改善）。