[论文解读] MA2QL: A Minimalist Approach to Fully Decentralized Multi-Agent Reinforcement Learning

Kefan Su, Siyuan Zhou+4 more|arXiv (Cornell University)|Sep 17, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

MA2QL 提出了一种极简的、完全去中心化的多智能体强化学习算法，其中智能体通过轮流使用 Q-learning 更新其 Q 函数来解决非平稳性问题。尽管对独立 Q 学习（IQL）的修改极少，MA2QL 在多种环境中均实现了稳定的性能提升，并且在 $\varepsilon$-收敛条件下理论上保证收敛至纳什均衡。

ABSTRACT

Decentralized learning has shown great promise for cooperative multi-agent reinforcement learning (MARL). However, non-stationarity remains a significant challenge in fully decentralized learning. In the paper, we tackle the non-stationarity problem in the simplest and fundamental way and propose multi-agent alternate Q-learning (MA2QL), where agents take turns updating their Q-functions by Q-learning. MA2QL is a minimalist approach to fully decentralized cooperative MARL but is theoretically grounded. We prove that when each agent guarantees $\varepsilon$-convergence at each turn, their joint policy converges to a Nash equilibrium. In practice, MA2QL only requires minimal changes to independent Q-learning (IQL). We empirically evaluate MA2QL on a variety of cooperative multi-agent tasks. Results show MA2QL consistently outperforms IQL, which verifies the effectiveness of MA2QL, despite such minimal changes.

研究动机与目标

• 为解决完全去中心化的合作式多智能体强化学习（MARL）中的非平稳性问题。
• 开发一种极简但理论基础扎实的方法，仅需对独立 Q 学习（IQL）进行微小修改。
• 通过实验验证轮换式学习是否能稳定训练并在复杂、部分可观察环境中提升性能。
• 展示该方法在离散与连续动作空间，以及完全/部分可观察设置下的可扩展性与鲁棒性。

提出的方法

• 智能体轮流使用标准 Q-learning 更新其 Q 函数，同时在每个更新轮次中所有智能体均与环境交互。
• 该方法强制执行固定的更新调度，每个智能体按顺序依次更新，从而有效解耦策略更新，减少非平稳性。
• 理论分析证明，若每个智能体在其更新轮次中实现 $\varepsilon$-收敛，则联合策略将收敛至纳什均衡。
• 该算法仅需极少的代码修改：在 IQL 的训练循环中，将环境交互与智能体更新的顺序互换。
• 该方法兼容离散动作（如 MPE、SMAC）和连续动作（如多智能体 MuJoCo）环境，后者使用 DDPG。
• 训练过程中不使用全局状态或通信，从而保持完全去中心化。

实验结果

研究问题

• RQ1 一种极简的轮换式更新调度是否能稳定完全去中心化的 MARL 中的学习并缓解非平稳性？
• RQ2 交替式 Q 学习在表格型 Dec-POMDP 设置下是否收敛至纳什均衡？
• RQ3 MA2QL 是否仅通过少量代码修改，就在多样化的 MARL 基准测试中优于独立 Q 学习（IQL）？
• RQ4 MA2QL 对超参数变化的鲁棒性如何？其在更大规模多智能体环境中的可扩展性如何？
• RQ5 交替学习调度是否能在部分可观察和高复杂度环境中提升性能？

主要发现

• 在随机博弈中，MA2QL 的收敛速度显著快于 IQL，表现出更高的稳定性和更快的收敛速度。
• 在《星际争霸多智能体挑战》（SMAC）中，MA2QL 在困难和超难地图（$\mathtt{5m\_vs\_6m}$ 和 $\mathtt{corridor}$）上优于 IQL，获胜率更高。
• 在多智能体 MuJoCo 环境中，MA2QL 在 15 个智能体和 17 个智能体的任务中均持续优于 IQL，展现出强大的可扩展性与鲁棒性。
• 超参数消融实验表明，无论学习率和批量大小如何变化，MA2QL 均保持相对于 IQL 的性能优势，表明其具有良好的鲁棒性。
• 在 3 个智能体 Hopper 和 3×2 HalfCheetah 任务中，即使 K（每轮更新次数）变化，MA2QL 的最终性能仍优于 IQL。
• 理论分析确认，在每个智能体每轮更新中实现 $\varepsilon$-收敛的条件下，MA2QL 在表格型设置下可收敛至纳什均衡。