[论文解读] Multi-Agent Actor-Critic with Generative Cooperative Policy Network

Heechang Ryu, Hayong Shin+1 more|arXiv (Cornell University)|Oct 22, 2018

Reinforcement Learning in Robotics参考文献 10被引用 9

一句话总结

本文提出了一种基于生成式合作策略网络（GCPN）的多智能体演员-critic框架，以提升合作马尔可夫游戏中去中心化策略学习的效果。通过GCPN生成动作样本，智能体能够更有效地探索联合动作空间，从而获得更优的协作策略；在微电网储能控制任务中，该方法实现的能量成本接近集中式优化水平，优于DDPG，且与QP方法相当，尽管其缺乏对未来完整状态的了解。

ABSTRACT

We propose an efficient multi-agent reinforcement learning approach to derive equilibrium strategies for multi-agents who are participating in a Markov game. Mainly, we are focused on obtaining decentralized policies for agents to maximize the performance of a collaborative task by all the agents, which is similar to solving a decentralized Markov decision process. We propose to use two different policy networks: (1) decentralized greedy policy network used to generate greedy action during training and execution period and (2) generative cooperative policy network (GCPN) used to generate action samples to make other agents improve their objectives during training period. We show that the samples generated by GCPN enable other agents to explore the policy space more effectively and favorably to reach a better policy in terms of achieving the collaborative tasks.

研究动机与目标

• 开发一种去中心化的多智能体强化学习算法，使智能体能够在合作马尔可夫游戏中学习协作策略。
• 通过引入生成式合作策略网络（GCPN）来解决多智能体系统中探索受限的问题，该网络可生成多样化的动作样本。
• 在无需了解其他智能体策略或依赖集中式控制的前提下，提升智能体间的协调能力。
• 在真实世界的微电网储能控制问题上评估该方法，证明其在降低能量成本方面的有效性。

提出的方法

• 该方法为每个智能体配备两个策略网络：执行阶段使用的去中心化贪婪策略，以及训练阶段用于探索的生成式合作策略网络（GCPN）。
• GCPN在训练过程中生成动作样本，以帮助其他智能体更有效地探索联合动作空间。
• 每个智能体使用集中式评论家网络来估计全局回报，从而在部分可观测环境下实现基于价值的学习。
• 该算法通过引入GCPN生成的样本扩展了MADDPG，以提升策略学习与协调能力。
• 该框架被应用于微电网储能控制的去中心化马尔可夫决策过程（Dec-MDP）建模中。
• GCPN被训练以生成有利于全局性能的动作，从而通过协调探索实现更优的策略收敛。

实验结果

研究问题

• RQ1 生成式合作策略网络（GCPN）能否提升多智能体强化学习中的探索效率？
• RQ2 使用GCPN生成的动作样本是否能带来优于标准深度多智能体强化学习方法的协作策略学习效果？
• RQ3 所提方法是否能在缺乏对未来系统动态完整知识的去中心化环境中实现近似最优性能？
• RQ4 该方法在真实世界微电网储能控制中与集中式优化相比表现如何？

主要发现

• MADDPG-GCPN方法的能量成本被归一化为1.00，与作为性能上限基准的集中式二次规划（QP）方法非常接近。
• 相比之下，忽略智能体间交互的DDPG基线方法，其归一化成本为1.18，表明因缺乏协调而导致显著效率低下。
• MADDPG-GCPN方案的PAR（峰值与平均比）略低于DDPG，表明负载可靠性更高，能量消耗曲线更平稳。
• GCPN增强的探索机制带来了更快的收敛速度和更稳定的策略学习，这在测试回合中表现一致的性能中得到验证。
• 尽管未获取未来系统动态信息，该方法仍实现了接近最优的性能，而QP基线则具备此信息。