[论文解读] Learning Implicit Credit Assignment for Cooperative Multi-Agent Reinforcement Learning

Meng Zhou, Ziyu Liu+3 more|arXiv (Cornell University)|Jul 6, 2020

Reinforcement Learning in Robotics参考文献 54被引用 47

一句话总结

LICA 引入一种基于策略的 CTDE 方法，使用超网络混合 critic 和自适应熵以隐式解决协作型 MARL 的信用分配问题，在多智能体粒子环境和星际争霸 II 微观管理任务上显示出强劲结果。

ABSTRACT

We present a multi-agent actor-critic method that aims to implicitly address the credit assignment problem under fully cooperative settings. Our key motivation is that credit assignment among agents may not require an explicit formulation as long as (1) the policy gradients derived from a centralized critic carry sufficient information for the decentralized agents to maximize their joint action value through optimal cooperation and (2) a sustained level of exploration is enforced throughout training. Under the centralized training with decentralized execution (CTDE) paradigm, we achieve the former by formulating the centralized critic as a hypernetwork such that a latent state representation is integrated into the policy gradients through its multiplicative association with the stochastic policies; to achieve the latter, we derive a simple technique called adaptive entropy regularization where magnitudes of the entropy gradients are dynamically rescaled based on the current policy stochasticity to encourage consistent levels of exploration. Our algorithm, referred to as LICA, is evaluated on several benchmarks including the multi-agent particle environments and a set of challenging StarCraft II micromanagement tasks, and we show that LICA significantly outperforms previous methods.

研究动机与目标

• 在共享奖励下推动学习协作策略而不进行显式信用分配。
• 开发一个集中式 critic，通过状态条件的超网络提供更丰富的梯度信息。
• 通过自适应熵正则化确保训练过程中的持续探索。
• 在具有挑战性的协作基准上评估 LICA，并与最先进方法进行比较。

提出的方法

• 将集中式 critic 表述为一个映射状态到一组权重的超网络，这些权重将单独行动的表示混合为联合 Q 值估计。
• 通过混合 critic 计算策略梯度，以实现分散随机策略的端到端优化。
• 使用广义优势估计 TD(lambda) 的目标对 critic 进行在线训练，并可选使用目标 critic 以实现稳定性。
• 可选地通过将行动分布参数输入给 critic 而非采样行动来获取更具信息量的梯度来训练策略。
• 引入自适应熵正则化，按当前策略熵的倒数缩放熵梯度大小以维持探索。
• 提供两种训练模式：(i) 使用 Gumbel-Softmax 对离散动作进行标准采样，(ii) 将行动分布参数直接作为 critic 的输入。

实验结果

研究问题

• RQ1 隐式信用分配是否可以从一个状态条件的混合 critic 中产生，而无需显式基线或差分奖励？
• RQ2 基于超网络的 critic 是否比标准的多层感知机 critic 有更好的信用分配和联合策略质量？
• RQ3 自适应熵正则化如何影响协作型 MARL 的探索与收敛？
• RQ4 将动作分布参数作为 critic 输入对学习效率与稳定性有何影响？
• RQ5 所 proposed 方法在多样化的协作任务和动作空间中是否鲁棒？

主要发现

• 与以往方法相比，LICA 在多智能体粒子环境和星际争霸 II 微观管理任务上具有竞争力或更优的性能。
• 混合 critic 提供了更丰富的状态-动作梯度信息，支持学习协作策略，超越单调的价值分解。
• 自适应熵正则化在复杂情境中带来更一致的探索和更快的收敛。
• 将行动分布参数作为 critic 输入可在 SC2 场景中实现更快且更稳定的策略收敛。
• 组件消融分析显示混合 critic 的必要性以及替代策略梯度形式的好处。