[论文解读] Heterogeneous-Agent Reinforcement Learning

Yifan Zhong, Jakub Grudzien Kuba+4 more|arXiv (Cornell University)|Apr 19, 2023

Reinforcement Learning in Robotics被引用 22

一句话总结

论文介绍 HARL，一系列理论基础的用于具有异质代理的协同多代理强化学习的算法，具有序列更新方案和统一的 HAML 框架，保证联合回报的单调改进并收敛到 Nash Equilibrium。

ABSTRACT

The necessity for cooperation among intelligent machines has popularised cooperative multi-agent reinforcement learning (MARL) in AI research. However, many research endeavours heavily rely on parameter sharing among agents, which confines them to only homogeneous-agent setting and leads to training instability and lack of convergence guarantees. To achieve effective cooperation in the general heterogeneous-agent setting, we propose Heterogeneous-Agent Reinforcement Learning (HARL) algorithms that resolve the aforementioned issues. Central to our findings are the multi-agent advantage decomposition lemma and the sequential update scheme. Based on these, we develop the provably correct Heterogeneous-Agent Trust Region Learning (HATRL), and derive HATRPO and HAPPO by tractable approximations. Furthermore, we discover a novel framework named Heterogeneous-Agent Mirror Learning (HAML), which strengthens theoretical guarantees for HATRPO and HAPPO and provides a general template for cooperative MARL algorithmic designs. We prove that all algorithms derived from HAML inherently enjoy monotonic improvement of joint return and convergence to Nash Equilibrium. As its natural outcome, HAML validates more novel algorithms in addition to HATRPO and HAPPO, including HAA2C, HADDPG, and HATD3, which generally outperform their existing MA-counterparts. We comprehensively test HARL algorithms on six challenging benchmarks and demonstrate their superior effectiveness and stability for coordinating heterogeneous agents compared to strong baselines such as MAPPO and QMIX.

研究动机与目标

• 解决 MARL 中对同质参数共享在异质代理情景下的局限性。
• 构建一个理论基础扎根的框架，使各智能体能够进行序列化、协同更新。
• 引入 HATRL 程序及其可行的近似方法 HATRPO 和 HAPPO。
• 提出 Heterogeneous-Agent Mirror Learning (HAML) 框架，以保证单调改进并收敛到 Nash Equilibriae。
• 在具异质代理的基准测试中展示 HARL 算法的经验性能提升。

提出的方法

• 推导多智能体优势分解引理，以实现联合策略中智能体的序列化更新。
• 提出带有序列更新方案和单调改进保证的 Heterogeneous-Agent Trust Region Learning (HATRL)。
• 将实用算法 HATRPO 和 HAPPO 发展为 HATRL 的可行近似。
• 引入 Heterogeneous-Agent Mirror Learning (HAML) 作为具有理论保证的一般模板。
• 证明 HARL 推导的算法（包括 HAA2C、HADDPG、HATD3）具备联合回报单调提升和收敛到 NE 的特性。
• 提供开源的 PyTorch 实现，并在 MPE、MAMuJoCo、SMAC/SMACv2、GRF 和 Bi-DexterousHands 上进行广泛基准测试。

实验结果

研究问题

• RQ1 如何在不依赖参数共享的前提下，将多智能体强化学习扩展到真正的异质代理？
• RQ2 在协作型 MARL 中，是否可以通过由多智能体优势分解引导的序列更新方案，确保单调改进并收敛到 Nash Equilibrium？
• RQ3 在异质代理设置中实现 HATRL 和 HAML 的可行、实际有效的算法是什么？
• RQ4 HAML 框架是否能泛化到超越 HATRPO/HAPPO，产生更多鲁棒的 HARL 算法？
• RQ5 在具异质代理的基准测试中，HARL 算法是否优于现有的 MA 对手？

主要发现

• 在异质基准上，HARL 算法通常优于像 MAPPO 和 QMIX 这样的强基线。
• 序列更新方案相对于同时更新，能防止训练不稳定并改进收敛性保证。
• HAPPO 和 HATD3 成为领先的执行者，HATD3 在离策略设置中提供了改进的样本效率。
• HAML 提供了一个统一模板，将理论保证扩展到更广泛的合作性 MARL 算法。
• 随着代理异质性的增加，HARL 结果更为稳健，表明在多样化任务设置中的鲁棒性。