[論文レビュー] Towards Effective GenAI Multi-Agent Collaboration: Design and Evaluation for Enterprise Applications

Raphael Shu, Nilaksh Das+3 more|arXiv (Cornell University)|Dec 6, 2024

Collaboration in agile enterprisesBusiness, Management and Accounting被引用数 3

ひとこと要約

本論文は、エンタープライズアプリケーション向けにLLM駆動のエージェントを用いた階層的マルチエージェント協調フレームワークを提案し、構造的なタスク委譲と最適化された通信を通じて協調的問題解決を可能にしている。ソフトウェア開発やモーゲージ処理といった複雑な分野において90%の目標達成率を達成しており、ペイロード参照機能の導入によりコードタスクのパフォーマンスが23%向上し、通信オーバーヘッドが27%削減された。

ABSTRACT

AI agents powered by large language models (LLMs) have shown strong capabilities in problem solving. Through combining many intelligent agents, multi-agent collaboration has emerged as a promising approach to tackle complex, multi-faceted problems that exceed the capabilities of single AI agents. However, designing the collaboration protocols and evaluating the effectiveness of these systems remains a significant challenge, especially for enterprise applications. This report addresses these challenges by presenting a comprehensive evaluation of coordination and routing capabilities in a novel multi-agent collaboration framework. We evaluate two key operational modes: (1) a coordination mode enabling complex task completion through parallel communication and payload referencing, and (2) a routing mode for efficient message forwarding between agents. We benchmark on a set of handcrafted scenarios from three enterprise domains, which are publicly released with the report. For coordination capabilities, we demonstrate the effectiveness of inter-agent communication and payload referencing mechanisms, achieving end-to-end goal success rates of 90%. Our analysis yields several key findings: multi-agent collaboration enhances goal success rates by up to 70% compared to single-agent approaches in our benchmarks; payload referencing improves performance on code-intensive tasks by 23%; latency can be substantially reduced with a routing mechanism that selectively bypasses agent orchestration. These findings offer valuable guidance for enterprise deployments of multi-agent systems and advance the development of scalable, efficient multi-agent collaboration frameworks.

研究の動機と目的

• エンタープライズ環境におけるマルチエージェントシステムのための効果的な協調プロトコルの設計に取り組む。
• 単一エージェントでは到達できない複雑で多面的な問題における目標達成率を向上させる。
• 効率性、スケーラビリティ、実世界への適用可能性を考慮した協調およびルーティングメカニズムを評価する。
• 信頼性の高いマルチエージェントシステムの評価を可能にするために、手作業で作成されたエンタープライズシナリオを用いたベンチマークフレームワークを開発する。
• とくにコード集約ワークロードにおいて、遅延とオーバーヘッドを低減するためのエージェント間通信を最適化する。

提案手法

• タスク計画、委譲、協調管理を担当する中央のスーパvisorエージェントを備えた階層的エージェントアーキテクチャを提案する。
• コードスニペットなどの大容量コンテンツブロックを共有するための、並列通信とペイロード参照を可能にする協調モードを採用する。
• 不要なエージェントホップを回避することで遅延を低減するため、選択的にオ케ストレーションをバイパスするルーティングモードを導入する。
• アサーションベースのベンチマーク評価を実施し、自動化されたLLMベースの評価を用いて目標達成率と一貫性を測定する。
• 旅行、モーゲージ、ソフトウェア開発の3つのエンタープライズ分野において、スーパvisorエージェントおよびスペシャリストエージェントの両方でClaude 3.5 Sonnet (20241022) モデルを用いる。
• 再現可能性とさらなる研究を可能にするために、手作業で作成されたシナリオを含む公開ベンチマークデータセットをリリースする。

Figure 1: Illustration of the hierarchical agents approach for multi-agent collaboration. In a centralized hierarchy, a supervisor agent oversees and assigns tasks to specialist agents. The figure demonstrates a multi-layer hierarchy, where an agent can function as both a specialist agent and a supe

実験結果

リサーチクエスチョン

• RQ1 階層的マルチエージェント協調フレームワークは、特殊化されたエージェントを効果的に連携させることで、複雑なエンタープライズ問題をどのように解決できるか？
• RQ2 とくにコード集約タスクにおいて、通信メカニズム（特にペイロード参照）がパフォーマンスと効率性に与える影響は何か？
• RQ3 多様なエンタープライズ分野において、マルチエージェント協調アプローチは単一エージェントアプローチと比較して、目標達成率でどの程度優れているか？
• RQ4 信頼性を損なわず、マルチエージェント連携における遅延をどの程度削減できるか、ルーティング最適化の効果は何か？
• RQ5 自動化されたLLMベースの評価フレームワークは、人間の判断と比較して、目標達成率をどの程度正確に測定できるか？

主な発見

• ベンチマークシナリオにおいて、マルチエージェント協調は単一エージェントアプローチと比較して、目標達成率を最大70%まで向上させた。
• ペイロード参照メカニズムにより、コード集約タスクにおける目標達成率が23%向上し、ターンごとの平均通信オーバーヘッドが27%削減された。
• Claude 3.5 Sonnetモデルを用いた場合、全評価対象エンタープライズ分野で全体の目標達成率が90%に達した。
• 選択的にオーケストレーションをバイパスするルーティングメカニズムは、特に複雑なワークフローにおいて顕著に遅延を低減した。
• 自動化されたLLMベースの評価フレームワークは、人間によるアノテーションの成功率と高い一致を示し、スケーラブルで信頼性の高いベンチマーク評価を可能にした。
• 本フレームワークは、ソフトウェア開発分野において顕著な性能を示し、単一エージェントアプローチでは目標達成率が最大37%低下する傾向を示した。

Figure 2: Example of parallel agent communication. In this example, the supervisor agent simultaneously communicates with multiple agents as the tasks can be completed independently.