[论文解读] Decentralized Multi-Agent Reinforcement Learning with Networked Agents: Recent Advances

Kaiqing Zhang, Zhuoran Yang+1 more|arXiv (Cornell University)|Dec 9, 2019

Distributed Control Multi-Agent Systems参考文献 68被引用 19

一句话总结

本文综述了具有网络化智能体的去中心化多智能体强化学习（MARL）的最新理论进展，其中智能体通过局部通信协作，无需中央控制器。论文提出并分析了多种算法（如基于一致性策略梯度和演员-critic方法），在去中心化、网络化设置下实现了收敛性，并在样本复杂度和通信效率方面提供了理论保证。

ABSTRACT

Multi-agent reinforcement learning (MARL) has long been a significant and everlasting research topic in both machine learning and control. With the recent development of (single-agent) deep RL, there is a resurgence of interests in developing new MARL algorithms, especially those that are backed by theoretical analysis. In this paper, we review some recent advances a sub-area of this topic: decentralized MARL with networked agents. Specifically, multiple agents perform sequential decision-making in a common environment, without the coordination of any central controller. Instead, the agents are allowed to exchange information with their neighbors over a communication network. Such a setting finds broad applications in the control and operation of robots, unmanned vehicles, mobile sensor networks, and smart grid. This review is built upon several our research endeavors in this direction, together with some progresses made by other researchers along the line. We hope this review to inspire the devotion of more research efforts to this exciting yet challenging area.

研究动机与目标

• 解决多智能体强化学习（MARL）中的理论分析挑战，特别是在具有网络化智能体的去中心化设置下。
• 通过实现仅依赖局部通信的去中心化决策，克服MARL中固有的可扩展性和非平稳性问题。
• 开发具有可证明收敛性和样本复杂度的MARL算法，利用分布式优化和一致性理论的洞见。
• 通过基于触发机制和标量通信的机制，提升MARL中的通信效率，降低通信开销。
• 尽管深度强化学习中的理论基础尚不充分，仍将理论框架扩展至具有深度函数逼近的去中心化MARL。

提出的方法

• 提出一种去中心化MARL框架，其中智能体仅使用局部观测和邻居通信，完全避免任何中心化协调。
• 采用集中式评论者-去中心化执行者架构，以稳定学习过程并支持合作式MARL中的理论分析。
• 引入基于一致性的策略梯度方法，利用双随机混合矩阵在网络中聚合梯度。
• 应用基于扩散更新的分布式演员-critic算法，在网络约束下确保收敛至最优策略。
• 设计通信高效的机制，如懒惰聚合策略梯度（LAPG）和仅传输标量状态的方法，以减少通信轮次。
• 利用对偶理论和随机逼近方法，推导出在联网MDP中分布式策略评估与学习的收敛性保证。

实验结果

研究问题

• RQ1 去中心化MARL算法如何在无中央控制器的情况下实现收敛性和样本效率？
• RQ2 网络拓扑在去中心化MARL的收敛性和通信效率中起到何种作用？
• RQ3 是否可以在保持理论收敛性保证的前提下，减少MARL中的通信开销？
• RQ4 去中心化MARL算法如何处理其他智能体并行更新策略所导致的非平稳性？
• RQ5 在去中心化、网络化设置下，如何为具有深度神经网络的MARL建立理论基础？

主要发现

• 所提出的去中心化MARL算法在合作式设置下可收敛至最优策略，且在样本复杂度方面具有理论保证。
• 使用双随机混合矩阵的基于一致性的策略梯度方法可确保平均策略收敛至平稳点。
• 通信高效的算法（如LAPG和标量传输）在理论上可减少通信轮次，同时保持收敛性。
• 基于对偶理论和梯度-TD更新的分布式演员-critic方法在独立MDP设置下，以次线性均方误差率收敛。
• 即使在时变通信网络下，也建立了去中心化MARL的理论收敛性，扩展了其在动态环境中的适用性。
• 该框架支持具有深度函数逼近器的MARL的理论分析，尽管目前实证成功仍领先于理论理解。