[论文解读] Heterogeneous-Agent Mirror Learning: A Continuum of Solutions to Cooperative MARL

Jakub Grudzien Kuba, Xidong Feng+4 more|arXiv (Cornell University)|Aug 2, 2022

Reinforcement Learning in Robotics被引用 8

一句话总结

本文提出异构智能体镜像学习（Heterogeneous-Agent Mirror Learning, HAML），一种理论框架，统一并泛化了合作式多智能体强化学习（MARL）算法，确保奖励单调提升并收敛至纳什均衡。该文证明了当前最先进算法如HATRPO和HAPPO均为HAML的实例，并提出了基于HAML的新算法HAA2C与HADDPG，在StarCraftII与多智能体MuJoCo基准测试中表现优于强基线模型。

ABSTRACT

The necessity for cooperation among intelligent machines has popularised cooperative multi-agent reinforcement learning (MARL) in the artificial intelligence (AI) research community. However, many research endeavors have been focused on developing practical MARL algorithms whose effectiveness has been studied only empirically, thereby lacking theoretical guarantees. As recent studies have revealed, MARL methods often achieve performance that is unstable in terms of reward monotonicity or suboptimal at convergence. To resolve these issues, in this paper, we introduce a novel framework named Heterogeneous-Agent Mirror Learning (HAML) that provides a general template for MARL algorithmic designs. We prove that algorithms derived from the HAML template satisfy the desired properties of the monotonic improvement of the joint reward and the convergence to Nash equilibrium. We verify the practicality of HAML by proving that the current state-of-the-art cooperative MARL algorithms, HATRPO and HAPPO, are in fact HAML instances. Next, as a natural outcome of our theory, we propose HAML extensions of two well-known RL algorithms, HAA2C (for A2C) and HADDPG (for DDPG), and demonstrate their effectiveness against strong baselines on StarCraftII and Multi-Agent MuJoCo tasks.

研究动机与目标

• 为解决合作式MARL中缺乏理论保证的问题，现有算法常缺乏奖励单调提升或收敛性保证。
• 开发一个统一的理论框架，确保在多智能体环境中实现奖励单调提升并收敛至纳什均衡。
• 证明当前最先进MARL算法（如HATRPO与HAPPO）是该框架的严格实例。
• 推导并验证基于HAML的新算法（HAA2C与HADDPG），在保持理论严谨性的同时实现优异的实验性能。

提出的方法

• HAML为MARL引入了一种镜像学习框架，利用漂移泛函（策略间准距离）来构造优势代理函数，确保理论保证。
• 通过允许以置换顺序独立更新各智能体策略，该框架支持异构智能体，实现联合优势估计下的独立优化。
• HAML将信任区域原则推广至多智能体环境，通过精心设计的目标函数保持奖励单调提升。
• HAA2C通过在随机置换顺序下依次更新智能体，结合重要性采样进行联合优势估计，将A2C扩展至MARL。
• HADDPG通过在离策略学习中用新动作替换评论家中的旧动作，将DDPG扩展至MARL，保持目标函数等价性。
• 该框架无需参数共享或对称策略，支持异构策略学习，并提供理论收敛保证。

实验结果

研究问题

• RQ1 能否为合作式MARL构建一个统一的理论框架，确保奖励单调提升并收敛至纳什均衡？
• RQ2 现有最先进MARL算法（如HATRPO与HAPPO）是否可被形式化为更一般化、可证明正确的理论框架的实例？
• RQ3 从该框架推导出的新MARL算法能否在复杂多智能体环境中超越现有基线？
• RQ4 HAML框架是否能在不依赖参数共享的前提下，有效支持异构多智能体环境下的学习？

主要发现

• HATRPO与HAPPO被正式证明为HAML框架的实例，验证了该框架的表达能力与理论基础。
• 在StarCraft II多智能体挑战（SMAC）中，HAA2C的平均回报更高且方差更低，优于MAA2C-S（同质）与MAA2C-NS（异质）基线。
• 在多智能体MuJoCo基准中，HAA2C显著优于MAA2C-NS，尤其在需要多样化智能体策略的任务中，证实了异构学习的优势。
• 在多智能体MuJoCo的多个连续控制任务中，HADDPG的回报更高且方差更低，表现出更优的样本效率与稳定性。
• 实验结果证实，基于HAML的算法在实践中保持了理论特性，相较于强基线实现一致的性能提升。
• 该框架成功支持新MARL算法的推导，且不牺牲理论严谨性，证明了其理论与实践的双重价值。