[论文解读] ACE: Cooperative Multi-agent Q-learning with Bidirectional Action-Dependency

Chuming Li, Jie Liu+6 more|arXiv (Cornell University)|Nov 29, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出 ACE，一种合作式多智能体强化学习算法，通过双向动作依赖关系解决非平稳性问题，将多智能体 MDP 通过顺序决策转化为单智能体 MDP。ACE 在 SMAC 的几乎所有困难和超难地图上实现了 100% 胜率，并在 GRF 和 SMAC 基准测试中显著优于先前方法，在样本效率和累积回报方面表现卓越。

ABSTRACT

Multi-agent reinforcement learning (MARL) suffers from the non-stationarity problem, which is the ever-changing targets at every iteration when multiple agents update their policies at the same time. Starting from first principle, in this paper, we manage to solve the non-stationarity problem by proposing bidirectional action-dependent Q-learning (ACE). Central to the development of ACE is the sequential decision-making process wherein only one agent is allowed to take action at one time. Within this process, each agent maximizes its value function given the actions taken by the preceding agents at the inference stage. In the learning phase, each agent minimizes the TD error that is dependent on how the subsequent agents have reacted to their chosen action. Given the design of bidirectional dependency, ACE effectively turns a multiagent MDP into a single-agent MDP. We implement the ACE framework by identifying the proper network representation to formulate the action dependency, so that the sequential decision process is computed implicitly in one forward pass. To validate ACE, we compare it with strong baselines on two MARL benchmarks. Empirical experiments demonstrate that ACE outperforms the state-of-the-art algorithms on Google Research Football and StarCraft Multi-Agent Challenge by a large margin. In particular, on SMAC tasks, ACE achieves 100% success rate on almost all the hard and super-hard maps. We further study extensive research problems regarding ACE, including extension, generalization, and practicability. Code is made available to facilitate further research.

研究动机与目标

• 为解决合作式多智能体强化学习（MARL）中的非平稳性问题，即智能体策略变化会干扰价值函数学习的问题。
• 开发一种方法，即使在联合动作空间复杂且策略共同演化的情况下，也能实现对个体动作价值的准确估计。
• 通过引入具有双向依赖关系的顺序决策，将合作式多智能体 MDP 转化为单智能体 MDP。
• 在 Google Research Football 和 StarCraft Multi-Agent Challenge 等 MARL 基准测试中，提升样本效率、收敛速度和泛化能力。
• 通过与 CTDE 框架集成并支持去中心化执行，实现实际部署。

提出的方法

• ACE 构建一个顺序扩展的 MDP（SE-MDP），其中每个智能体按顺序行动，状态扩展基于先前动作，从而将 MMDP 有效转化为单智能体 MDP。
• 引入双向动作依赖关系：前向依赖（价值依赖于先前动作）和后向依赖（目标依赖于后续智能体的反应）。
• 通过单位嵌入与动作嵌入的加法组合表示 SE-状态，实现在一次前向传播中高效计算所有中间状态。
• 引入交互感知动作嵌入以建模智能体间交互，提升价值估计与策略性能。
• 该方法可兼容标准 Q 学习与演员-critic 框架（如 PPO），通过将联合动作价值蒸馏为个体价值函数实现。
• 在 ACE-CTDE 中采用反事实蒸馏技术，将联合动作知识转移至去中心化个体策略中，保持 IGM 性质。

实验结果

研究问题

• RQ1 双向动作依赖关系是否能通过将 MMDP 转化为单智能体 MDP，有效解决合作式 MARL 中的非平稳性问题？
• RQ2 在复杂基准测试中，ACE 与 QMIX 和 MAPPO 等当前最先进 MARL 算法相比，在性能和样本效率方面表现如何？
• RQ3 ACE 在不同智能体数量的新任务上泛化能力如何，尤其是在固定配置下进行训练时？
• RQ4 ACE 在顺序决策过程中对智能体决策顺序的鲁棒性如何？
• RQ5 ACE 是否能有效适配 CTDE 范式，同时在去中心化执行下保持高性能？

主要发现

• ACE 在 StarCraft Multi-Agent Challenge（SMAC）的几乎所有困难和超难地图上实现了 100% 胜率，显著优于现有方法。
• 在 Google Research Football 上，ACE 实现了更优的累积回报，并在样本效率方面相比当前最先进算法最高提升 500%。
• ACE 展现出强大的泛化能力：在未微调的情况下，可直接迁移至不同智能体数量的新地图并保持高性能。
• 交互感知动作嵌入对性能有显著贡献，表现为移除后性能明显下降（ACE-w/o-IA 与 ACE 对比）。
• ACE 对智能体顺序具有鲁棒性，随机排序与有序决策序列之间的性能差异极小。
• ACE-CTDE 在去中心化执行中实现了与完整 ACE 几乎相同的性能，验证了反事实蒸馏在保持 IGM 性质方面的有效性。