[论文解读] Revisiting the Master-Slave Architecture in Multi-Agent Deep Reinforcement Learning

Xiangyu Kong, Bo Xin+2 more|arXiv (Cornell University)|Dec 20, 2017

Reinforcement Learning in Robotics参考文献 22被引用 45

一句话总结

本文提出 MS-MARL，一种主从层次化深度强化学习框架，通过门控组合、可学习通信和独立推理，将集中式规划与分布式执行统一起来。该方法在合成环境和《星际争霸》微操任务中，相较于最先进多智能体强化学习方法，实现了更优性能，展现出更快、更稳定的训练过程以及如钳形进攻等涌现的协作行为。

ABSTRACT

Many tasks in artificial intelligence require the collaboration of multiple agents. We exam deep reinforcement learning for multi-agent domains. Recent research efforts often take the form of two seemingly conflicting perspectives, the decentralized perspective, where each agent is supposed to have its own controller; and the centralized perspective, where one assumes there is a larger model controlling all agents. In this regard, we revisit the idea of the master-slave architecture by incorporating both perspectives within one framework. Such a hierarchical structure naturally leverages advantages from one another. The idea of combining both perspectives is intuitive and can be well motivated from many real world systems, however, out of a variety of possible realizations, we highlights three key ingredients, i.e. composed action representation, learnable communication and independent reasoning. With network designs to facilitate these explicitly, our proposal consistently outperforms latest competing methods both in synthetic experiments and when applied to challenging StarCraft micromanagement tasks.

研究动机与目标

• 为解决将深度强化学习扩展至具有大规模、几何复杂状态-动作空间的多智能体环境的挑战。
• 通过在层次化框架中统一二者，调和多智能体强化学习中去中心化（独立智能体）与中心化（全局控制）之间的矛盾视角。
• 设计一种可扩展、可学习的架构，以实现智能体间有效通信与协调决策。
• 在具有挑战性的多智能体任务上实证验证该框架，特别是在《星际争霸》微操场景中。

提出的方法

• 该框架采用主从层次结构：具备全局状态感知能力的中心主智能体，以及具有局部观测的多个从智能体。
• 每个智能体使用循环神经网络（RNN）维持内部表征，随时间建模其个体‘思考’过程。
• 门控组合模块（GCM）融合主智能体的全局策略与每个从智能体的本地策略，生成最终动作。
• 可学习通信使主智能体能够向从智能体发送结构化消息，提升协调性，超越简单信号广播。
• 主智能体接收全局状态及所有从智能体的消息，而每个从智能体则使用其本地状态和主智能体消息作为输入。
• 策略通过策略梯度方法进行训练，实现整个层次化网络的端到端优化。

实验结果

研究问题

• RQ1 统一的主从架构能否在深度多智能体强化学习中有效结合集中式规划与分布式执行的优势？
• RQ2 与 CommNet 等基线方法相比，显式通信与门控动作组合如何提升多智能体协调性能？
• RQ3 在如《星际争霸》微操等复杂任务中，该层次化设计能否催生涌现的协作行为？
• RQ4 引入专用主状态（如占用图）对学习稳定性与性能有何影响？

主要发现

• 在合成环境与《星际争霸》任务中，MS-MARL 相较于 CommNet 及其他竞争方法，实现了显著更快且更稳定的训练收敛。
• 在多个《星际争霸》微操任务中，该方法在胜率与样本效率方面均持续优于最先进多智能体强化学习基线方法。
• 主智能体学会发出高层级战略指令，如引导队伍向敌方区域推进，而从智能体则负责局部位置调整与协调。
• 该框架能够实现如‘钳形进攻’等复杂协调行为，而 CommNet 通常难以学习此类行为，尤其在 15M vs. 16M 任务中表现显著。
• 消融实验表明，显式主状态与可学习通信对性能提升至关重要，甚至仅使用主智能体的变体也已优于 CommNet。
• 可视化结果表明，门控组合机制能有效平衡全局战略与局部适应，从而产生连贯的团队行动。