[论文解读] Learning in Games: Robustness of Fast Convergence

Dylan J. Foster, Zhiyuan Li+3 more|arXiv (Cornell University)|Jun 20, 2016

Advanced Bandit Algorithms Research参考文献 11被引用 20

一句话总结

本文引入了低近似遗憾（Low Approximate Regret）性质，作为在重复博弈中实现快速收敛至近似最优性的统一框架，即使在反馈受限的情况下也成立。它表明，广泛使用的学习算法——包括基础Hedge算法——在实际反馈或贝叶斯反馈下，以高概率实现O(1/T)的收敛速度，相比先前工作提高了n倍（玩家数量），并扩展至高玩家流动的动态群体。

ABSTRACT

We show that learning algorithms satisfying a $ extit{low approximate regret}$ property experience fast convergence to approximate optimality in a large class of repeated games. Our property, which simply requires that each learner has small regret compared to a $(1+ε)$-multiplicative approximation to the best action in hindsight, is ubiquitous among learning algorithms; it is satisfied even by the vanilla Hedge forecaster. Our results improve upon recent work of Syrgkanis et al. [SALS15] in a number of ways. We require only that players observe payoffs under other players' realized actions, as opposed to expected payoffs. We further show that convergence occurs with high probability, and show convergence under bandit feedback. Finally, we improve upon the speed of convergence by a factor of $n$, the number of players. Both the scope of settings and the class of algorithms for which our analysis provides fast convergence are considerably broader than in previous work. Our framework applies to dynamic population games via a low approximate regret property for shifting experts. Here we strengthen the results of Lykouris et al. [LST16] in two ways: We allow players to select learning algorithms from a larger class, which includes a minor variant of the basic Hedge algorithm, and we increase the maximum churn in players for which approximate optimality is achieved. In the bandit setting we present a new algorithm which provides a "small loss"-type bound with improved dependence on the number of actions in utility settings, and is both simple and efficient. This result may be of independent interest.

研究动机与目标

• 在最小反馈假设（如实际反馈或贝叶斯反馈）下，建立重复博弈中快速收敛至近似最优性的理论保证。
• 将收敛保证扩展至高玩家流动的动态群体博弈，其中玩家随时间动态加入和退出。
• 证明广泛类别的学习算法——包括基础Hedge算法——满足低近似遗憾性质，从而实现快速收敛。
• 相比先前工作，将收敛速率提高n倍，同时保持高概率收敛。
• 提供一个通用框架，统一并强化现有关于平滑博弈与机制中无遗憾学习结果的研究。

提出的方法

• 引入低近似遗憾性质：算法的遗憾被限制在（1+ε）倍于事后最优动作的遗憾，外加一个次优性项。
• 采用一种新颖的分析技术，将部分遗憾界并入比较器项中，从而在加法与乘法近似之间实现权衡。
• 证明标准算法（如常数学习率的Hedge）满足低近似遗憾性质，其中A(d,T) = (e−1)log(d)。
• 通过使用随机动作采样和基于期望的遗憾界，将分析扩展至贝叶斯反馈设置。
• 通过在时变动作分布上界定遗憾，将框架扩展至动作专家的动态变化与动态群体。
• 将框架应用于平滑机制与成本最小化博弈，推导出社会福利的界，其表达式依赖于无谓损失参数。

实验结果

研究问题

• RQ1 在实际反馈而非期望收益反馈下，能否保证快速收敛至近似最优？
• RQ2 低近似遗憾性质是否适用于广泛使用的算法（如基础Hedge），其是否意味着快速收敛？
• RQ3 即使在高玩家流动的动态博弈中，收敛速率是否仍可相比先前工作提高n倍？
• RQ4 该框架能否扩展至仅可观测所选动作效用的贝叶斯反馈设置？
• RQ5 结果能否推广至玩家集合随时间变化且流动率较高的场景？

主要发现

• 基础Hedge算法在常数学习率下满足低近似遗憾性质，其中A(d,T) = (e−1)log(d)。
• 即使在实际反馈下，近似最优性收敛速率仍为O(1/T)（高概率），相比先前工作提升n倍。
• 该框架适用于每轮最多O(n)名玩家流动的动态群体博弈，显著扩展了先前结果。
• 在贝叶斯反馈设置下，新算法实现了“小损失”类型的界，对动作数量的依赖更优。
• 对于平滑机制，平均社会福利满足：(1/T)∑𝔼[SW(sᵗ)] ≥ (λ/max(μ,1+ε))Opt + (n/T)⋅(1/max(μ,1+ε))⋅(A(d,T)/ε)。
• 该分析统一并强化了先前关于平滑博弈中快速收敛的研究结果，包括对乐观镜像下降（Optimistic Mirror Descent）和跟随正则化领导者（Follow the Regularized Leader）的分析。