[論文レビュー] HieraMAS: Optimizing Intra-Node LLM Mixtures and Inter-Node Topology for Multi-Agent Systems

Tianjun Yao, Zhaoyi Li+1 more|arXiv (Cornell University)|Feb 23, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

HieraMASは、超ノード内に内部ノードのLLM混成を含む階層的MASを提案し、超ノード間のトポロジをグラフ分類で最適化することで、コスト効率を高めつつ最先端の結果を達成します。個々ノードのクレジット割り当てのために多段階の報酬を使用し、トポロジを全体的なグラフスコアリングとして扱います。

ABSTRACT

Multi-agent systems (MAS) built on large language models (LLMs) have shown strong performance across many tasks. Most existing approaches improve only one aspect at a time, such as the communication topology, role assignment, or LLM routing, while treating each agent as a single, indivisible unit. This misses the opportunity to use mixtures of LLMs within an agent to strengthen role-specific abilities. We propose HieraMAS, a hierarchical collaboration framework that combines intra-node LLM mixtures with an inter-node communication topology. HieraMAS introduces supernodes, where each functional role is implemented by multiple heterogeneous LLMs using a propose-synthesis structure. Optimizing HieraMAS creates unique credit-assignment challenges: final task performance depends heavily on the underlying LLMs' capabilities, which can lead reinforcement methods to incorrectly reward suboptimal configurations. To address this, we use a two-stage algorithm: (1) multi-level reward attribution, which provides fine-grained feedback at both the node level and the overall system level; (2) graph classification for topology selection, which treats choosing the communication structure as a holistic decision rather than optimizing edges one by one. Experiments on reasoning and coding benchmarks show that HieraMAS substantially outperforms existing methods while also delivering better cost-performance trade-offs.

研究の動機と目的

• 超ノード内のLLM混成を活用してMAS性能を向上させる動機づけ。
• 超ノード内構成（LLM選択と役割保持）とノード間通信トポロジの共同最適化。
• 多段階の報酬と全体的なグラフベースのトポロジ選択でクレジット割り当ての課題を解決。
• 推論・コーディングのベンチマークで優れた性能とコスト効iciencyを実証。

提案手法

• 提案手法として、混成LLMを含むスーパーノードを導入し、提案-統合構造を用意。
• 状態、行動（役割選択、LLM選択、エッジ選択）、報酬を用いたMDPとしてMASを定式化し、精度とコストのバランスを取る。
• ステージ1: ランダムグラフトポロジーを用いた多段階報酬でノード内LLM選択を学習。
• ステージ2: 候補DAGのプールからノード間トポロジを選択するグラフ分類器を訓練し、エッジレ벨のクレジット割り当てを回避。
• コストに敏感な報酬関数を用いて、安価で正確な解を促進。
• 2段階アプローチの理論的正当化と、そのクレジット割り当て上の利点を示す。

Figure 1 : Illustration of two credit assignment challenges in joint optimization and our solutions. Challenge 1 : Final task rewards mask individual node errors—Node 2 produces incorrect output but receives high reward $R_{2}=0.92$ . HieraMAS addresses this via multi-level rewards that provide effe

実験結果

リサーチクエスチョン

• RQ1 超ノード内のLLM混成は、個々の役割能力と全体のMAS性能を改善するか。
• RQ2 全体的なグラフ分類によるノード間トポロジの学習は、エッジ単位のトポロジ最適化より効果的か。
• RQ3 多段階の報酬は、共同最適化設定で正しい役割別クレジット割り当てを可能にするか。
• RQ4 LLM選択、役割保持、トポロジを同時に最適化する際のコストと性能のトレードオフはどうなるか。

主な発見

Method	Multi	Topo	Role	Node	GPT-5-Mini	Qwen3-80B	GPT-5-Mini	Qwen3-80B	GPT-5-Mini	Qwen3-80B	Avg.
Base	✗	✗	✗	✗	89.06	84.14	77.78	74.44	92.00	82.40	83.14
CoT	✗	✗	✗	✗	87.50	85.94	92.22	90.00	93.60	89.60	89.81
Self-Consistency	✓	✗	✗	✗	89.06	87.50	93.33	91.11	94.40	83.20	89.77
Self-Consistency+CoT	✓	✗	✗	✗	90.62	85.94	94.44	92.22	93.60	92.80	91.60
LLM-Debate	✓	✗	✗	✗	87.50	87.50	94.44	94.44	92.80	92.00	91.45
Full-Graph	✓	✗	✗	✗	89.06	92.19	95.56	96.67	94.40	88.80	92.78
Random-Graph	✓	✗	✗	✗	85.94	92.19	93.33	94.44	91.20	88.00	90.85
AFlow	✓	✓	✗	✗	95.31	98.44	95.56	84.44	91.20	91.20	92.69
GDesigner	✓	✓	✗	✗	90.62	93.75	91.11	87.77	92.00	88.80	90.68
MASRouter	✓	✓	✓	✗	96.88	98.44	91.11	88.88	88.33	81.67	90.89
Ours	✓	✓	✓	✓	93.75	96.88	96.67	95.56	95.20	89.60	94.61

• HieraMASは3つのベンチマークを横断して平均正確度94.61%を達成。
• Full-Graph（完全連結）は高い精度を示すが、HieraMASよりはるかに高いコスト。
• アブレーションにより、グラフトポロジスコアリングとLLM選択の両方が性能とコスト効率に寄与。
• 学習されたトポロジはスパースで不規則で、トップグラフ間で一貫したシンク/ソース役割を持つ。
• ノード内LLM混成は能力とコストのバランスを取り、均一に最強モデルを用いる設定を上回る。
• 私たちのアプローチはHumanEval++, MATH、MMLU-Reduxでベースラインを常に上回る。

Figure 2 : The overall framework of HieraMAS . By optimizing a policy learner $\pi_{m}$ with multi-level rewards (Stage 1) and a graph classifier $f_{G}(\cdot)$ with contrastive rewards (Stage 2), HieraMAS learns to select optimal supernode configurations and communication topologies. During inferen