[论文解读] A Structured Prediction Approach for Generalization in Cooperative Multi-Agent Reinforcement Learning

Nicolas Carion, Gabriel Synnaeve+2 more|arXiv (Cornell University)|Oct 19, 2019

Reinforcement Learning in Robotics被引用 14

一句话总结

本文提出了一种用于合作多智能体强化学习的结构化预测方法，通过使用端到端优化过程与学习到的评分模型来分配智能体至任务，实现了对更大规模问题实例的零样本泛化。该方法在训练时未见过的五倍以上智能体与任务的《星际争霸：母巢之战》场景中，显著优于强基线模型。

ABSTRACT

Effective coordination is crucial to solve multi-agent collaborative (MAC) problems. While centralized reinforcement learning methods can optimally solve small MAC instances, they do not scale to large problems and they fail to generalize to scenarios different from those seen during training. In this paper, we consider MAC problems with some intrinsic notion of locality (e.g., geographic proximity) such that interactions between agents and tasks are locally limited. By leveraging this property, we introduce a novel structured prediction approach to assign agents to tasks. At each step, the assignment is obtained by solving a centralized optimization problem (the inference procedure) whose objective function is parameterized by a learned scoring model. We propose different combinations of inference procedures and scoring models able to represent coordination patterns of increasing complexity. The resulting assignment policy can be efficiently learned on small problem instances and readily reused in problems with more agents and tasks (i.e., zero-shot generalization). We report experimental results on a toy search and rescue problem and on several target selection scenarios in StarCraft: Brood War, in which our model significantly outperforms strong rule-based baselines on instances with 5 times more agents and tasks than those seen during training.

研究动机与目标

• 解决集中式多智能体强化学习方法在扩展至更大规模问题实例时缺乏泛化能力的问题。
• 利用多智能体协作（MAC）问题中的局部性和协调结构，以实现高效学习与迁移。
• 开发一种高层级的智能体-任务分配策略，使其在不重新训练的情况下适用于不同规模的问题。
• 使用结构化预测建模复杂协调模式（如将智能体分散至远距离任务或分组进行集中攻击）。
• 实现实时推理性能，适用于《星际争霸：母巢之战》等即时战略游戏。

提出的方法

• 该方法将多智能体策略分解为高层级分配策略与低层级动作策略，重点学习前者。
• 智能体-任务分配通过一个集中式优化问题（推理过程）计算，其目标函数由学习到的评分模型参数化。
• 评分模型使用线性项与二次项：智能体-任务得分用于即时协调，任务-任务得分用于长期协调模式。
• 推理过程为多项式时间复杂度，支持大规模智能体与任务的高效扩展。
• 模型在小规模MAC问题实例上进行训练，随后直接应用于更大规模、未见过的实例（零样本泛化）。
• 评估了不同推理过程与评分模型的组合，包括线性规划（LP）、二次优化（Quad）和AMax。

实验结果

研究问题

• RQ1 是否能够通过使用学习到的评分模型的结构化预测方法，从较小规模问题实例泛化出有效的多智能体协调策略至大规模实例？
• RQ2 集中式优化过程结合学习到的评分模型，能否有效捕捉如集中攻击或空间分散等复杂协调模式？
• RQ3 在需要长期协调的场景中，目标函数中引入二次项是否能提升泛化性能？
• RQ4 该方法是否能在《星际争霸：母巢之战》等复杂即时战略游戏中实现实时性能？
• RQ5 在不同规模问题实例下，该方法与基于规则的基线相比，在零样本泛化方面表现如何？

主要发现

• 在m10v10《星际争霸：母巢之战》场景中，该方法取得了0.94的中位胜率，显著优于最佳启发式方法（0.83）及其他基线。
• 在w60v67场景中，Quad模型取得了0.33的胜率，优于最佳启发式方法（0.13），并展现出有效的零样本泛化能力。
• 在需要长期协调的场景（如幽灵兵战斗设置）中，二次推理过程（Quad）显著优于LP与AMax，其中集中攻击策略至关重要。
• 在易发生碰撞的场景（如刀锋虫-刺蛇，zh）中，LP模型表现良好，因其协调需求较简单；而Quad泛化能力较差，表明其对环境约束较为敏感。
• 在最大规模场景（80 vs 82单位）中，算法每步决策运行时间低于500ms，支持《星际争霸：母巢之战》中的实时对战。
• 该模型可泛化至训练时未见的五倍以上智能体与任务规模，展现出强大的零样本泛化能力。