[论文解读] Convergence of Multi-Agent Learning with a Finite Step Size in General-Sum Games

Xinliang Song, Tonghan Wang+1 more|arXiv (Cornell University)|Mar 7, 2019

Reinforcement Learning in Robotics参考文献 24被引用 4

一句话总结

该论文提出GA-SPP，一种基于梯度的多智能体学习算法，通过采用收缩策略预测，在一般和博弈中实现有限步长的纳什均衡收敛。与以往方法不同，它在$m\times n$半正定博弈、$2\times n$博弈以及$2\times 2$博弈中无需使用无穷小学习率即可保证收敛至纳什均衡。

ABSTRACT

Learning in a multi-agent system is challenging because agents are simultaneously learning and the environment is not stationary, undermining convergence guarantees. To address this challenge, this paper presents a new gradient-based learning algorithm, called Gradient Ascent with Shrinking Policy Prediction (GA-SPP), which augments the basic gradient ascent approach with the concept of shrinking policy prediction. The key idea behind this algorithm is that an agent adjusts its strategy in response to the forecasted strategy of the other agent, instead of its current one. GA-SPP is shown formally to have Nash convergence in larger settings than existing gradient-based multi-agent learning methods. Furthermore, unlike existing gradient-based methods, GA-SPP's theoretical guarantees do not assume the learning rate to be infinitesimal.

研究动机与目标

• 解决多智能体学习中因智能体同时学习而导致收敛性受挫的非平稳环境挑战。
• 克服现有基于梯度的方法在理论收敛性上依赖无穷小学习率的局限性。
• 为更广泛类别的一般和博弈中收敛至纳什均衡提供更强的理论保障。
• 开发一种实用且理论基础坚实的算法，优于现有基于策略预测的方法（如IGA-PP和外梯度方法）。
• 通过放宽对学习率和策略投影的假设，实现更鲁棒、可扩展的多智能体学习。

提出的方法

• 提出一种新型梯度上升算法——带收缩策略预测的梯度上升（GA-SPP），通过预测对手策略并基于此预测调整自身策略。
• 采用可与策略更新速率不同的收缩预测长度，提升灵活性并增强理论保障。
• 在每一步将预测的对手策略投影到有效的概率单纯形上，以确保策略的有效性并支持纳什收敛。
• 正式证明GA-SPP在$m\times n$半正定博弈、$2\times n$一般和博弈的子类以及$2\times 2$一般和博弈中实现纳什收敛。
• 利用凸投影算子$\Pi_{\bm{\Delta}}$和$P_{\bm{\Delta}}(\bm{x}, \bm{v})$在更新过程中保持策略的有效性。
• 集成有限学习率$\eta$，同时不牺牲收敛性保障，打破了以往对无穷小步长的假设。

实验结果

研究问题

• RQ1 基于梯度的多智能体学习算法是否能在一般和博弈中以有限学习率实现纳什收敛？
• RQ2 GA-SPP在哪些类别的一般和博弈中保证收敛至纳什均衡？
• RQ3 与IGA-PP和外梯度等现有方法相比，收缩策略预测如何提升收敛稳定性和理论保障？
• RQ4 将预测策略投影到有效策略空间是否能增强收敛至纳什均衡的能力？
• RQ5 GA-SPP在理论范围之外的实证环境中是否能超越GIGA-WoLF和IGA-PP等现有算法？

主要发现

• GA-SPP是首个基于梯度上升、采用有限步长并在$m\times n$半正定博弈中保证纳什收敛的多智能体学习算法。
• 与以往方法相比，GA-SPP在更广泛的博弈类别中确保收敛至纳什均衡，包括$2\times n$一般和博弈和$2\times 2$博弈。
• 实证结果表明，GA-SPP在囚徒困境、斗鸡博弈、性别之战和石头剪刀布等基准博弈中收敛至纳什均衡。
• 在夏普利博弈和$2\times 3$博弈中，GA-SPP收敛至纳什均衡，而GIGA-WoLF失败，且在收敛稳定性上优于IGA-PP。
• 与IGA-PP不同，GA-SPP在不同预测长度下均能保持对纳什均衡的收敛，而IGA-PP对预测长度敏感，可能收敛至非均衡策略。
• 在三人配对硬币博弈中，GA-SPP在恒定预测长度下无法收敛，表明其在高度非线性或混沌动力学中存在局限性。