[论文解读] Learning Nash Equilibria in Congestion Games

Walid Krichene, Benjamin Drighès+1 more|arXiv (Cornell University)|Jul 31, 2014

Advanced Bandit Algorithms Research参考文献 14被引用 6

一句话总结

本文研究重复非线性博弈中在线学习动态的收敛性，表明当玩家使用亚线性折扣遗憾的算法时，群体策略会收敛到纳什均衡。本文引入了AREP类算法——近似复制者动态——可保证强收敛，包括折扣Hedge算法在内。

ABSTRACT

We study the repeated congestion game, in which multiple populations of players share resources, and make, at each iteration, a decentralized decision on which resources to utilize. We investigate the following question: given a model of how individual players update their strategies, does the resulting dynamics of strategy profiles converge to the set of Nash equilibria of the one-shot game? We consider in particular a model in which players update their strategies using algorithms with sublinear discounted regret. We show that the resulting sequence of strategy profiles converges to the set of Nash equilibria in the sense of Cesàro means. However, strong convergence is not guaranteed in general. We show that strong convergence can be guaranteed for a class of algorithms with a vanishing upper bound on discounted regret, and which satisfy an additional condition. We call such algorithms AREP algorithms, for Approximate REPlicator, as they can be interpreted as a discrete-time approximation of the replicator equation, which models the continuous-time evolution of population strategies, and which is known to converge for the class of congestion games. In particular, we show that the discounted Hedge algorithm belongs to the AREP class, which guarantees its strong convergence.

研究动机与目标

• 研究重复非线性博弈中在线学习动态是否收敛到纳什均衡。
• 分析折扣遗憾在确保策略序列收敛中的作用。
• 刻画强收敛（而非仅Cesàro平均收敛）发生的条件。
• 引入并形式化AREP算法类，作为连续时间复制者方程的离散时间近似。
• 为特定学习算法（如Hedge算法和复制者动态）在非线性博弈中建立收敛保证。

提出的方法

• 将重复非线性博弈建模为玩家使用具有折扣遗憾的在线学习算法更新策略。
• 使用趋于零的折扣因子序列 $(\gamma_\tau)$ 定义折扣遗憾，强调近期损失而非遥远损失。
• 引入AREP（近似复制者）算法类，其满足折扣遗憾的趋零上界以及额外的正则性条件。
• 使用Rosenthal势函数 $V$ 作为李雅普诺夫函数，分析群体策略序列的收敛性。
• 应用Cesàro平均收敛，证明亚线性折扣遗憾意味着平均策略收敛到纳什均衡集。
• 证明当动态为AREP且具有亚线性折扣遗憾时，实际策略序列 $\mu^{(\tau)}$ 实现强收敛。

实验结果

研究问题

• RQ1 在何种条件下，重复非线性博弈中的在线学习动态会收敛到纳什均衡？
• RQ2 是否能保证策略配置的强收敛，还是仅能实现Cesàro平均收敛？
• RQ3 学习算法需满足何种性质，才能确保在非线性博弈中收敛到纳什均衡？
• RQ4 折扣Hedge算法在非线性博弈中的收敛表现如何？
• RQ5 能否在离散时间中有效近似连续时间复制者动态以确保收敛？

主要发现

• 当玩家使用具有亚线性折扣遗憾的算法时，群体策略的Cesàro平均序列收敛到纳什均衡集。
• 在亚线性折扣遗憾下，实际策略序列 $\mu^{(\tau)}$ 的强收敛在一般情况下无法保证。
• AREP算法类——其特征为亚线性折扣遗憾与额外正则性条件——可确保收敛到纳什均衡。
• 折扣Hedge算法属于AREP类，因此可保证强收敛到纳什均衡集。
• 满足假设2且 $\gamma_\tau \leq 1/2$ 的复制者动态（REP）同样可确保强收敛到纳什均衡。
• 仿真结果证实，折扣Hedge与REP动态均收敛到纳什均衡，且学习率递减可减少振荡并促进收敛。