[论文解读] Learning in Nonzero-Sum Stochastic Games with Potentials

David Mguni, Yutong Wu+7 more|Research Portal (King's College London)|Mar 16, 2021

Reinforcement Learning in Robotics参考文献 60被引用 10

一句话总结

本文提出 SPot-AC，一种新颖的多智能体强化学习算法，用于非零和连续状态动作空间的随机博弈，通过利用随机势博弈（SPGs）实现。该文证明 SPot-AC 可在多项式时间内收敛至纳什均衡，并在复杂任务（如协同导航和大规模自私路由）中优于最先进的方法，如 MADDPG 和 COMIX。

ABSTRACT

Multi-agent reinforcement learning (MARL) has become effective in tackling discrete cooperative game scenarios. However, MARL has yet to penetrate settings beyond those modelled by team and zero-sum games, confining it to a small subset of multi-agent systems. In this paper, we introduce a new generation of MARL learners that can handle nonzero-sum payoff structures and continuous settings. In particular, we study the MARL problem in a class of games known as stochastic potential games (SPGs) with continuous state-action spaces. Unlike cooperative games, in which all agents share a common reward, SPGs are capable of modelling real-world scenarios where agents seek to fulfil their individual goals. We prove theoretically our learning method, SPot-AC, enables independent agents to learn Nash equilibrium strategies in polynomial time. We demonstrate our framework tackles previously unsolvable tasks such as Coordination Navigation and large selfish routing games and that it outperforms the state of the art MARL baselines such as MADDPG and COMIX in such scenarios.

研究动机与目标

• 解决在团队合作和零和设置之外的非零和随机博弈中缺乏有效多智能体强化学习（MARL）方法的问题。
• 实现对连续状态动作空间的学习，此类空间在自动驾驶和网络路由等现实应用中普遍存在。
• 开发一种可扩展的 MARL 算法，避免随智能体数量增加而产生组合爆炸复杂度。
• 为连续随机势博弈（c-SPGs）中的纳什均衡收敛性提供理论保证。
• 设计一种分布式、基于演员-critic 的学习框架，可泛化至未知环境并保持可扩展性。

提出的方法

• 形式化连续随机势博弈（c-SPGs），其中阶段内智能体交互具有势博弈特性。
• 建立 c-SPGs 的双重表示为马尔可夫决策过程（MDP），使纳什均衡可通过 MDP 求解计算。
• 提出 SPot-AC，一种分布式演员-critic 算法，用于在未知 c-SPG 环境中学习纳什均衡策略。
• 提出一种拟合 Q-学习变体 SPot-Q，用于在已知环境模型下高效计算纳什均衡。
• 通过势函数构造实现智能体交互的解耦，并通过类似集中式评论家的机制确保收敛至均衡。
• 证明该方法在势函数估计误差较小时具有鲁棒性，表明其对真实纳什均衡的近似程度接近。

实验结果

研究问题

• RQ1 能否设计出在连续、非零和随机博弈中收敛至纳什均衡的 MARL 算法，且超越团队合作和零和设置？
• RQ2 随机博弈中的势博弈结构是否能通过 MDP 对偶性实现纳什均衡的可 tractable 计算？
• RQ3 基于分布式演员-critic 的 MARL 算法能否在保持收敛性保证的同时，随智能体数量高效扩展？
• RQ4 所提出方法在协同导航和大规模自私路由等现实世界启发任务中的表现如何？
• RQ5 势函数估计误差在多大程度上影响所计算纳什均衡的准确性？

主要发现

• SPot-AC 可在多项式时间内为连续随机势博弈证明收敛至纳什均衡。
• 该方法在以往难以解决的任务中表现优异，包括协同导航和大规模自私路由博弈。
• 在复杂连续任务中，SPot-AC 在收敛速度和最终性能方面优于最先进的 MARL 基线方法，如 MADDPG 和 COMIX。
• 理论分析表明，当势函数以小误差估计时，SPot-AC 能够紧密逼近真实纳什均衡。
• 双重 MDP 表示通过将固定点问题转化为可解 MDP，实现了纳什均衡的高效计算。
• SPot-AC 的分布式变体能有效随智能体数量扩展，避免了集中式评论家带来的组合爆炸问题。