[论文解读] Multi-Agent Reinforcement Learning via Double Averaging Primal-Dual Optimization

Hoi-To Wai, Zhuoran Yang+2 more|arXiv (Cornell University)|Jun 1, 2018

Distributed Control Multi-Agent Systems被引用 119

一句话总结

该论文提出了一种新颖的双平均原始-对偶算法，用于去中心化的多智能体强化学习（MARL），其中智能体通过本地奖励和邻居梯度协作最小化均方贝尔曼误差。该方法实现了向最优策略值的全局几何收敛，标志着在去中心化凸-凹鞍点问题中首次实现MARL的快速有限时间收敛。

ABSTRACT

Despite the success of single-agent reinforcement learning, multi-agent reinforcement learning (MARL) remains challenging due to complex interactions between agents. Motivated by decentralized applications such as sensor networks, swarm robotics, and power grids, we study policy evaluation in MARL, where agents with jointly observed state-action pairs and private local rewards collaborate to learn the value of a given policy. In this paper, we propose a double averaging scheme, where each agent iteratively performs averaging over both space and time to incorporate neighboring gradient information and local reward information, respectively. We prove that the proposed algorithm converges to the optimal solution at a global geometric rate. In particular, such an algorithm is built upon a primal-dual reformulation of the mean squared Bellman error minimization problem, which gives rise to a decentralized convex-concave saddle-point problem. To the best of our knowledge, the proposed double averaging primal-dual optimization algorithm is the first to achieve fast finite-time convergence on decentralized convex-concave saddle-point problems.

研究动机与目标

• 解决去中心化智能体在多智能体强化学习（MARL）中的策略评估挑战。
• 克服传感器网络和电网等去中心化系统中智能体交互的复杂性。
• 开发一种可扩展且高效的算法，确保在去中心化协调下MARL的快速收敛。
• 将均方贝尔曼误差最小化问题形式化为去中心化的凸-凹鞍点问题。
• 在去中心化设置下实现MARL的有限时间几何收敛，填补了先前研究中的关键空白。

提出的方法

• 通过凸-凹鞍点公式化，将MARL策略评估问题重新表述为原始-对偶优化问题。
• 引入双平均机制：对邻居梯度进行空间平均，对本地奖励更新进行时间平均。
• 通过使每个智能体仅使用本地奖励和邻居信息来维护和更新本地估计，实现优化的去中心化。
• 利用均方贝尔曼误差的结构，推导出可实现分布式计算的对偶问题。
• 通过在原始-对偶框架中结合梯度追踪与对偶变量更新，确保收敛性。
• 在所提出的双平均方案下，证明了去中心化鞍点问题的全局几何收敛性。

实验结果

研究问题

• RQ1 去中心化的MARL算法能否在多智能体系统中实现策略评估的几何收敛？
• RQ2 如何使具有私有本地奖励和共同观测状态的智能体协作最小化均方贝尔曼误差？
• RQ3 空间与时间上的双平均机制在实现去中心化MARL中快速收敛方面起到什么作用？
• RQ4 结合双平均的原始-对偶方法能否在收敛速度上超越现有的去中心化MARL方法？
• RQ5 是否可能在由MARL产生的去中心化凸-凹鞍点问题中实现有限时间几何收敛？

主要发现

• 所提出的双平均原始-对偶算法在MARL中实现了向最优策略值的全局几何收敛。
• 该算法是首个在去中心化凸-凹鞍点问题中建立MARL有限时间几何收敛的算法。
• 在联合使用邻居梯度的空间平均和本地奖励的时间平均下，收敛性得到保证。
• 该方法有效将优化过程解耦为本地更新与邻居信息交换，支持可扩展部署。
• 对均方贝尔曼误差的原始-对偶重构为去中心化策略评估提供了一个统一的框架。
• 理论分析证实，在标准假设下，该算法的收敛速率与智能体数量无关。