[論文レビュー] SC-MAS: Constructing Cost-Efficient Multi-Agent Systems with Edge-Level Heterogeneous Collaboration

Di Zhao, Longhui Ma+3 more|arXiv (Cornell University)|Jan 14, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

SC-MAS は、タスク固有のエージェント役割、エッジレベルの協調戦略、LLMバックボーンを選択することによって、実行可能な異種多エージェントシステムを構築し、最先端手法よりも高い精度を低コストで実現します。

ABSTRACT

Large Language Model (LLM)-based Multi-Agent Systems (MAS) enhance complex problem solving through multi-agent collaboration, but often incur substantially higher costs than single-agent systems. Recent MAS routing methods aim to balance performance and overhead by dynamically selecting agent roles and language models. However, these approaches typically rely on a homogeneous collaboration mode, where all agents follow the same interaction pattern, limiting collaboration flexibility across different roles. Motivated by Social Capital Theory, which emphasizes that different roles benefit from distinct forms of collaboration, we propose SC-MAS, a framework for constructing heterogeneous and cost-efficient multi-agent systems. SC-MAS models MAS as directed graphs, where edges explicitly represent pairwise collaboration strategies, allowing different agent pairs to interact through tailored communication patterns. Given an input query, a unified controller progressively constructs an executable MAS by selecting task-relevant agent roles, assigning edge-level collaboration strategies, and allocating appropriate LLM backbones to individual agents. Experiments on multiple benchmarks demonstrate the effectiveness of SC-MAS. In particular, SC-MAS improves accuracy by 3.35% on MMLU while reducing inference cost by 15.38%, and achieves a 3.53% accuracy gain with a 12.13% cost reduction on MBPP. These results validate the feasibility of SC-MAS and highlight the effectiveness of heterogeneous collaboration in multi-agent systems.

研究の動機と目的

• MAS設計のための社会資本に着想を得た異種協調フレームワークを動機付ける。
• 精度とコストのバランスを取るために、エージェント選択、エッジレベル協調戦略、LLM割り当てを共同最適化する。
• エッジレベルの異種性が性能を向上させ、ベンチマーク全体で推論コストを削減することを示す。

提案手法

• MASを有向非巡回グラフとしてモデル化し、エッジには対辺協調戦略をエンコードする。
• 三段構成を使用する：Node Selector でタスクに関連するエージェントを選択、Edge Optimizer で相互エージェントおよび自己ループ戦略をDAG制約とともに割り当て、LLM Router で Graph Neural Network を介してLLMバックボーンを割り当てる。
• 方策を、タスク有用性からコストペナルティを差し引いた値を最大化するように最適化し、質問条件付きグラフ構築を可能にするポリシー勾配を用いる。
• ノード選択と確率的なエッジ戦略割り当てを捉えるために変分潜在変数モデルを採用し、協調コンテキストを捉える。
• 構造的コンテキストを伝播させ、ノード埋め込みとクエリ特徴に基づくLLM割り当て確率を計算するためにGNNを活用する。

実験結果

リサーチクエスチョン

• RQ1 エッジレベルの協調戦略を用いて異種的な相互作用をどう表現できるか。
• RQ2 エージェント選択、エッジ戦略、LLM割り当てを共同最適化することで、均質MAS設計よりも精度とコストのトレードオフを改善できるか。
• RQ3 社会資本に着想を得たDAGベースのMAS構築は、ベンチマーク全体で効率と性能を向上させるか。

主な発見

Method	LLM backbone	MAS Routing	MMLU	GSM8K	MATH	HumanEval	MBPP
Vanilla	gpt-4o-mini		77.81	93.17	66.09	85.71	72.20
claude-3.5-haiku			67.97	92.16	65.89	86.33	73.40
gemini-1.5-flash			80.04	92.67	74.39	82.61	73.00
llama-3.1-70b			79.08	92.68	60.31	80.75	68.20
GPTSwarm Zhuge et al. (2024)	gpt-4o-mini		82.80	94.66	68.85	86.28	75.40
gemini-1.5-flash			83.22	93.98	73.35	82.36	74.80
AgentPrune Zhang et al. (2025b)	gpt-4o-mini		83.02	94.89	68.45	86.80	75.40
gemini-1.5-flash			83.10	93.88	73.54	82.55	75.80
AFlow Zhang et al. (2025c)	gpt-4o-mini		83.10	92.30	73.35	90.06	82.20
gemini-1.5-flash			82.35	94.91	72.70	85.69	76.00
PromptLLM Feng et al. (2025)	LLM Pool		78.43	93.92	73.03	86.33	73.60
RouteLLM Ong et al. (2025)	LLM Pool		81.04	93.42	71.29	83.85	72.60
FrugalGPT Chen et al. (2024b)	LLM Pool		76.24	90.76	67.05	87.31	74.40
RouterDC Chen et al. (2024c)	LLM Pool		82.01	93.68	73.46	87.75	75.20
MasRouter Yue et al. (2025)	LLM Pool		84.25	95.45	75.42	90.62	84.00
SC-MAS (Ours)	LLM Pool		87.60	96.09	76.75	92.37	87.53

• SC-MAS は複数のベンチマークでベースラインより高い精度と低コストを達成（例：MMLUで3.35%の改善、MBPPで15.38%の推論コスト削減）。
• MBPPにおいて、SC-MAS は3.53%の精度向上と12.13%の推論コスト削減を実現。
• アブレーションにより、エッジまたはLLM成分を除くと性能が低下しコストが増大することを示す。エッジモデリングとLLM多様性が重要。
• SC-MAS は有益でないエージェントを効果的にフィルタリングし、ノイズの多い協力者には低い選択確率を割り当てる。
• 帰納的分析により、SC-MAS は未知のLLMへ一般化し、より強力なモデルを追加した場合に性能が向上することを示す。