[論文レビュー] Self-Resource Allocation in Multi-Agent LLM Systems

Alfonso Amayuelas, Junjie Yang+5 more|ArXiv.org|Apr 2, 2025

Scheduling and Optimization Algorithms被引用数 3

ひとこと要約

要約: 本論文は、LLMがオーケストレーターやプランナーとして機能し、複数のエージェント作業者間でタスクを割り当てる方法を評価し、Hungarian アルゴリズムのベースラインおよびCuisineWorldベンチマークと比較し、作業者の能力が計画の効率に与える影響を分析します。

ABSTRACT

With the development of LLMs as agents, there is a growing interest in connecting multiple agents into multi-agent systems to solve tasks concurrently, focusing on their role in task assignment and coordination. This paper explores how LLMs can effectively allocate computational tasks among multiple agents, considering factors such as cost, efficiency, and performance. In this work, we address key questions, including the effectiveness of LLMs as orchestrators and planners, comparing their effectiveness in task assignment and coordination. Our experiments demonstrate that LLMs can achieve high validity and accuracy in resource allocation tasks. We find that the planner method outperforms the orchestrator method in handling concurrent actions, resulting in improved efficiency and better utilization of agents. Additionally, we show that providing explicit information about worker capabilities enhances the allocation strategies of planners, particularly when dealing with suboptimal workers.

研究の動機と目的

• LLMsがコスト、効率、パフォーマンス制約の下で複数のエージェント間で計算タスクを割り当てる方法を評価する。
• LLMベースのオーケストレータとプランナーのアプローチを最適なHungarianアルゴリズム解と比較する。
• 遅延報酬を伴うCuisineWorldベースの動的多タスク環境でのリソース割り当てを評価する。
• 作業者の能力がプランナーの有効性に与える影響と、能力情報を明示的に与えることが結果に与える影響を分析する。

提案手法

• コスト、能力、タスクを含む組合せ最適化問題としてマルチエージェントリソース割り当てを定式化する。
• 3つの実験アーキテクチャを比較する：Individual、Orchestrator（中央集権型）、Planner（半分散型）。
• 単一ターン割り当て問題のグラウンドトゥルースとしてHungarianアルゴリズムを使用する。
• 遅延報酬を伴うCuisineWorldベースの同時タスクシナリオで評価する。
• 作業者モデルのバックボーンを変化させ、明示的な能力ヒントを提供することで、能力意識型割り当てを評価する。

実験結果

リサーチクエスチョン

• RQ1 標準の割り当て問題において、LLMsはHungarianアルゴリズムと比較してほぼ最適なタスク割り当てを生成できるか。
• RQ2 オーケストレータとプランナーのアプローチは、同時実行アクションとリソース利用の処理においてどのように比較されるか。
• RQ3 明示的な作業者能力情報を提供することは、特にサブ最適な作業者がいる場合にプランナーに基づく割り当てを改善するか。
• RQ4 CuisineWorld内の異質な作業者能力でプランナー基づく割り当てはどのように機能するか。

主な発見

• LLMsはモデルが大きいほど妥当性と正確性が高まるが、計算コストと金銭的コストが大幅に増加する。
• プランナー法は同時実行アクションの処理においてオーケストレータを上回り、効率とエージェント利用を改善する。
• 明示的な作業者能力情報の提供は、特にサブ最適な作業者がいる場合にプランナーの割り当てを強化する。
• プランナーは効率（コストあたり完了した注文数）とアイドル動作の少なさで、オーケストレータおよびIndividualアプローチと比べて高いパフォーマンスを示す。
• リソース認識により、少なくとも1つの強力なモデルを含む場合、異質チームが同質チームよりも優れていることがある。