[论文解读] HieraMAS: Optimizing Intra-Node LLM Mixtures and Inter-Node Topology for Multi-Agent Systems
HieraMAS 提出一个包含超节点的层次化 MAS,其中在超节点内包含混合型 LLM,优化超节点间拓扑通过图分类,达到最先进的结果并提升成本效率。它使用多层级奖励进行分节点信用分配,将拓扑作为整体图评分进行处理。
Multi-agent systems (MAS) built on large language models (LLMs) have shown strong performance across many tasks. Most existing approaches improve only one aspect at a time, such as the communication topology, role assignment, or LLM routing, while treating each agent as a single, indivisible unit. This misses the opportunity to use mixtures of LLMs within an agent to strengthen role-specific abilities. We propose HieraMAS, a hierarchical collaboration framework that combines intra-node LLM mixtures with an inter-node communication topology. HieraMAS introduces supernodes, where each functional role is implemented by multiple heterogeneous LLMs using a propose-synthesis structure. Optimizing HieraMAS creates unique credit-assignment challenges: final task performance depends heavily on the underlying LLMs' capabilities, which can lead reinforcement methods to incorrectly reward suboptimal configurations. To address this, we use a two-stage algorithm: (1) multi-level reward attribution, which provides fine-grained feedback at both the node level and the overall system level; (2) graph classification for topology selection, which treats choosing the communication structure as a holistic decision rather than optimizing edges one by one. Experiments on reasoning and coding benchmarks show that HieraMAS substantially outperforms existing methods while also delivering better cost-performance trade-offs.
研究动机与目标
- 通过在超节点内利用 intra-node LLM 混合来提升 MAS 性能的动机。
- 联合优化超节点内配置(LLM 选择和角色保留)与跨节点通信拓扑。
- 以多层级奖励解决信用分配挑战,并以整体图形为基础进行拓扑选择。
- 在推理与编码基准测试上展示更优的性能与成本效率。
提出的方法
- 将超节点作为混合多种 LLM 的结构引入,采用“提出-综合”框架。
- 将 MAS 形式化为具备状态、动作(角色选择、LLM 选择、边/拓扑选择)及回报的马尔可夫决策过程(MDP),平衡准确性与成本。
- 阶段1:在随机图拓扑下,使用多层级奖励学习超节点内的 LLM 选择。
- 阶段2:训练一个图分类器,从候选 DAG 池中选择跨节点拓扑,避免边级信用分配。
- 使用对成本敏感的奖励函数,鼓励更便宜但正确的解。
- 给出两阶段方法及其信用分配优势的理论论证。

实验结果
研究问题
- RQ1超节点内的 LLM 混合是否能提升单个角色能力与整体 MAS 性能?
- RQ2通过整体图分类学习跨节点拓扑是否优于逐边优化拓扑?
- RQ3在联合优化设置下,多层级奖励是否能实现对各角色的正确信用分配?
- RQ4在联合优化 LLm 选择、角色保留与拓扑时,成本与性能之间的权衡如何?
主要发现
- HieraMAS 在三个基准上的平均准确率达到一流水平(94.61%)。
- 全图(完全连接)在准确率上虽高,但成本显著高于 HieraMAS。
- 消融实验显示图拓扑评分与 LLM 选择均对性能和成本效率有贡献。
- 学习得到的拓扑较为稀疏且不规则,在顶层图中具有一致的汇聚/源角色。
- 超节点内的 LLM 混合在能力和成本之间取得平衡,优于统一选取最强模型的设置。
- 在 HumanEval++、MATH 与 MMLU-Redux 上我们的方法持续优于基线。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。