[论文解读] Cooperative Multi-Agent Reinforcement Learning with Partial Observations

Yan Zhang, Michael M. Zavlanos|arXiv (Cornell University)|Jun 18, 2020

Reinforcement Learning in Robotics参考文献 20被引用 9

一句话总结

该论文提出了一种在部分观测下用于合作多智能体强化学习（MARL）的分布式零阶策略优化方法，使智能体能够使用基于本地一致性的全局奖励估计来估计策略梯度。主要贡献是一种新型的残差反馈梯度估计器，可降低方差并提高样本效率，确保在恒定步长下收敛至一个平稳策略的邻域内。

ABSTRACT

In this paper, we propose a distributed zeroth-order policy optimization method for Multi-Agent Reinforcement Learning (MARL). Existing MARL algorithms often assume that every agent can observe the states and actions of all the other agents in the network. This can be impractical in large-scale problems, where sharing the state and action information with multi-hop neighbors may incur significant communication overhead. The advantage of the proposed zeroth-order policy optimization method is that it allows the agents to compute the local policy gradients needed to update their local policy functions using local estimates of the global accumulated rewards that depend on partial state and action information only and can be obtained using consensus. Specifically, to calculate the local policy gradients, we develop a new distributed zeroth-order policy gradient estimator that relies on one-point residual-feedback which, compared to existing zeroth-order estimators that also rely on one-point feedback, significantly reduces the variance of the policy gradient estimates improving, in this way, the learning performance. We show that the proposed distributed zeroth-order policy optimization method with constant stepsize converges to the neighborhood of a policy that is a stationary point of the global objective function. The size of this neighborhood depends on the agents' learning rates, the exploration parameters, and the number of consensus steps used to calculate the local estimates of the global accumulated rewards. Moreover, we provide numerical experiments that demonstrate that our new zeroth-order policy gradient estimator is more sample-efficient compared to other existing one-point estimators.

研究动机与目标

• 解决智能体仅能访问全局状态和动作的部分信息时，合作多智能体强化学习的挑战，避免高通信开销。
• 设计一种无需集中式评论家或完整状态/动作共享的去中心化策略优化方法。
• 降低多智能体设置下零阶策略梯度估计器的方差，以提高学习稳定性和样本效率。
• 通过一致性的价值跟踪机制，减少准确全局奖励估计所需的共识步数。
• 确保在恒定步长下，算法能收敛至平稳点的邻域，即使在部分观测条件下亦成立。

提出的方法

• 提出一种使用单点残差反馈的分布式零阶策略梯度估计器，其梯度估计方差低于现有单点估计器。
• 使智能体仅通过通信网络上的一致性过程获得的全局累积奖励本地估计，即可计算本地策略梯度。
• 集成一种价值跟踪机制，使智能体能够利用本地信息维持并更新全局目标函数值的估计。
• 采用基于一致性的算法，计算全局奖励的局部近似，降低对完整网络状态信息的依赖。
• 在策略更新规则中应用恒定步长，以确保收敛至平稳策略的邻域。
• 通过连续策略扰动之间的函数值差异来构建策略梯度估计器，避免梯度计算。

实验结果

研究问题

• RQ1 在智能体仅观测部分状态和动作、且无法访问全局评论家的情况下，去中心化MARL算法能否实现收敛？
• RQ2 在具有部分观测的分布式多智能体设置中，如何降低零阶策略梯度估计的方差？
• RQ3 共识步数与通信图结构对策略梯度估计偏差和方差有何影响？
• RQ4 价值跟踪是否可通过减少所需共识步数来提升零阶MARL的样本效率？
• RQ5 在部分观测条件下，所提方法与集中式基线在性能和可扩展性方面相比如何？

主要发现

• 所提出的残差反馈零阶估计器显著降低了与现有单点估计器相比的梯度方差，从而提升了学习性能。
• 在恒定步长下，该算法收敛至全局目标函数平稳点的邻域，邻域大小取决于学习率、探索参数和共识步数。
• 价值跟踪减少了每轮所需的共识步数，提升了效率，且不损害收敛质量。
• 数值实验表明，所提方法在样本效率方面优于基线单点估计器，尤其在通信图不规则的场景中表现更优。
• 随着共识步数的增加，分布式算法的性能趋近于具有部分观测的集中式算法。
• 共识矩阵 $\rho_W$ 的次大奇异值与收敛速度和梯度方差相关，表明收敛更快的图结构可产生更低的方差。