[论文解读] Fast Convergence of Regularized Learning in Games

Vasilis Syrgkanis, Alekh Agarwal+2 more|arXiv (Cornell University)|Jul 2, 2015

Advanced Bandit Algorithms Research参考文献 21被引用 37

一句话总结

本文提出一类带有近期偏好（recency bias）的正则化学习算法，在多人非合作型博弈中实现了更快的收敛速度。通过在镜像下降（Mirror Descent）和跟随正则化领导者（Follow-the-Regularized-Leader）中引入加权历史窗口，作者证明了个体遗憾（regret）以 $O(T^{-3/4})$ 的速率衰减，社会福利收敛至近似最优值的速率为 $O(T^{-1})$，显著优于标准的 $O(T^{-1/2})$ 速率。

ABSTRACT

We show that natural classes of regularized learning algorithms with a form of recency bias achieve faster convergence rates to approximate efficiency and to coarse correlated equilibria in multiplayer normal form games. When each player in a game uses an algorithm from our class, their individual regret decays at $O(T^{-3/4})$, while the sum of utilities converges to an approximate optimum at $O(T^{-1})$--an improvement upon the worst case $O(T^{-1/2})$ rates. We show a black-box reduction for any algorithm in the class to achieve $ ilde{O}(T^{-1/2})$ rates against an adversary, while maintaining the faster rates against algorithms in the class. Our results extend those of [Rakhlin and Shridharan 2013] and [Daskalakis et al. 2014], who only analyzed two-player zero-sum games for specific algorithms.

研究动机与目标

• 为解决标准无遗憾学习算法在多人博弈中收敛缓慢的问题，这些算法通常仅能达到 $O(T^{-1/2})$ 的遗憾与福利收敛速率。
• 将先前仅限于两人零和博弈的快速收敛结果，推广至一般多人非合作型博弈。
• 识别出如近期偏好与稳定性等结构性特性，作为实现去中心化学习动态中更快收敛的关键因素。
• 提出一种黑箱约化方法，可在对抗性对手下保持 $\tilde{O}(T^{-1/2})$ 的遗憾速率，同时在有利环境下保留快速收敛速率。
• 在四名出价者同时拍卖博弈中，通过实验验证所提算法在效用、遗憾与均衡收敛方面的表现，与 Hedge 算法进行对比。

提出的方法

• 提出一类正则化无遗憾算法，通过在决策规则中对近期效用观测赋予更高权重，引入近期偏好。
• 采用改进的跟随正则化领导者更新方式：$\mathbf{w}_i^T = \arg\max_{\mathbf{w} \in S_i} \left\langle \mathbf{w}, \sum_{t=1}^{T-1} \delta_i(\mathbf{w}^t) + \delta_i(\mathbf{w}^{T-1}) \right\rangle - \frac{\mathcal{R}(\mathbf{w})}{\eta} $，其中 $\delta_i$ 为效用的梯度。
• 利用 Roughgarden 框架中的参数 $\lambda$ 和 $\mu$，对博弈引入平滑性条件，以控制玩家效用变化速率的上界。
• 通过稳定性论证建立遗憾上界，表明策略变化的平方和受正则化项与利普希茨常数的控制。
• 推导出一种黑箱约化方法，可将该类中的任意算法转换为在任意对手下保持 $\tilde{O}(T^{-1/2})$ 遗憾速率，同时在有利环境下保留 $O(T^{-1})$ 的快速收敛速率。
• 模拟四名出价者同时拍卖博弈，比较乐观正则化学习与 Hedge 算法在效用、遗憾与均衡收敛方面的表现。

实验结果

研究问题

• RQ1 在一般多人非合作型博弈中，带有近期偏好的正则化学习算法能否实现对近似效率与粗相关均衡的更快收敛？
• RQ2 哪些结构性特性（如稳定性与近期偏好）能够使收敛速率超越标准的 $O(T^{-1/2})$ 遗憾上界？
• RQ3 黑箱变换能否在保持对相似算法快速收敛速率的同时，确保对对抗性对手的鲁棒性？
• RQ4 在现实拍卖场景中，这些算法与标准 Hedge 算法相比，在效用、遗憾与均衡收敛方面表现如何？
• RQ5 理论上的 $O(T^{-1})$ 社会福利收敛速率是否在非零和、多人博弈中也成立，而不仅限于两人零和情形？

主要发现

• 博弈中效用总和以 $O(T^{-1})$ 的速率收敛至近似最优值，优于标准的 $O(T^{-1/2})$ 最坏情况速率。
• 每位玩家的平均遗憾以 $O(T^{-3/4})$ 的速率衰减，快于标准的 $O(T^{-1/2})$ 上界。
• 所提出的算法类可实现社会福利在 $\frac{\lambda}{1+\mu}\text{Opt} - O(1/T)$ 范围内，其中 $\lambda$ 与 $\mu$ 为博弈平滑性条件中的参数。
• 提供了一种黑箱约化方法，可在任意对手下保持 $\tilde{O}(T^{-1/2})$ 的遗憾速率，同时在有利环境中保留 $O(T^{-1})$ 的快速收敛速率。
• 该方法将先前在两人零和博弈中的结果推广至一般多人博弈，揭示了快速收敛动态中隐藏的模块化结构。
• 在四名出价者同时拍卖的模拟实验中，乐观正则化学习在收敛速度与效用捕获方面均优于 Hedge 算法。