[论文解读] MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization

Yongsheng Mei, Hanhan Zhou+3 more|arXiv (Cornell University)|Feb 21, 2023

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了一种名为MAC-PO的新颖多智能体经验回放方法，通过在联合策略上进行遗憾最小化来优化采样权重，利用拉格朗日松弛法与KKT条件推导出闭式解权重。该方法在合作式多智能体强化学习环境（如Predator-Prey和StarCraft SMAC）中显著提升了学习效率与性能，收敛速度和胜率均优于当前最先进基线方法。

ABSTRACT

Experience replay is crucial for off-policy reinforcement learning (RL) methods. By remembering and reusing the experiences from past different policies, experience replay significantly improves the training efficiency and stability of RL algorithms. Many decision-making problems in practice naturally involve multiple agents and require multi-agent reinforcement learning (MARL) under centralized training decentralized execution paradigm. Nevertheless, existing MARL algorithms often adopt standard experience replay where the transitions are uniformly sampled regardless of their importance. Finding prioritized sampling weights that are optimized for MARL experience replay has yet to be explored. To this end, we propose MAC-PO, which formulates optimal prioritized experience replay for multi-agent problems as a regret minimization over the sampling weights of transitions. Such optimization is relaxed and solved using the Lagrangian multiplier approach to obtain the close-form optimal sampling weights. By minimizing the resulting policy regret, we can narrow the gap between the current policy and a nominal optimal policy, thus acquiring an improved prioritization scheme for multi-agent tasks. Our experimental results on Predator-Prey and StarCraft Multi-Agent Challenge environments demonstrate the effectiveness of our method, having a better ability to replay important transitions and outperforming other state-of-the-art baselines.

研究动机与目标

• 为解决合作式多智能体强化学习（MARL）中缺乏优先经验回放的问题，其中标准的均匀采样无法反映复杂智能体交互关系。
• 将最优经验回放建模为采样权重上的遗憾最小化问题，以最小化当前策略与最优策略之间的期望回报差距。
• 利用拉格朗日乘子与Karush–Kuhn–Tucker（KKT）条件推导出闭式解采样权重，同时考虑联合智能体策略与环境动态特性。
• 在具有挑战性的MARL基准上评估该方法，证明其在样本效率与策略性能方面优于现有基线方法。
• 验证关键组件——贝尔曼误差、价值增强与联合动作概率——在最优权重方案中的贡献度。

提出的方法

• 将MARL经验回放建模为遗憾最小化问题，定义策略遗憾为在给定采样权重下，名义最优策略与当前策略的期望回报之差。
• 通过使用遗憾的上界松弛优化问题，并应用拉格朗日乘子法推导出必要最优性条件。
• 通过求解一组考虑多智能体间并发最优性约束的KKT条件，推导出闭式解采样权重。
• 将三个关键组件——贝尔曼误差、价值增强与联合动作概率——整合进权重方案中，以反映多智能体动态与价值估计的准确性。
• 应用加权贝尔曼方程与隐函数定理，建模智能体策略与最优采样权重之间的依赖关系。
• 提出算法的精确版本与近似版本，以适用于大规模MARL环境的实际部署。

实验结果

研究问题

• RQ1 在合作式多智能体强化学习中，对采样权重进行遗憾最小化能否带来更优的经验回放？
• RQ2 如何在考虑联合策略与多智能体交互关系的前提下，以闭式解形式推导出最优采样权重？
• RQ3 贝尔曼误差、价值增强与联合动作概率在优先经验回放方案中的相对贡献为何？
• RQ4 所提方法是否在收敛速度与性能上优于标准经验回放与当前最先进MARL算法？
• RQ5 在SMAC的超难地图等复杂高协作环境中，该方法的可扩展性如何？

主要发现

• 在Predator-Prey环境中，MAC-PO在所有基线方法中收敛最快，尤其在需要同步智能体动作的高协作场景中表现显著。
• 在SMAC基准测试中，MAC-PO在超难MMM2地图上取得最高胜率，优于QMIX、WQMIX与QPLEX。
• 消融实验表明，禁用联合动作概率项导致性能下降最大（胜率降低18%），凸显其在多智能体协作中的关键作用。
• 当禁用贝尔曼误差与价值增强项时，性能分别下降15%与10%，表明二者在价值估计与策略改进中具有重要意义。
• MAC-PO的最优权重方案能更有效地重放高影响力转移，特别是涉及协同多智能体动作的转移，从而实现更优的样本效率。
• 该方法在复杂环境中表现出强鲁棒性，而标准经验回放与现有MARL基线方法在这些环境中难以学习到最优策略。