[论文解读] Hedging in games: Faster convergence of external and swap regrets

Xi Chen, Binghui Peng|arXiv (Cornell University)|Jun 8, 2020

Advanced Bandit Algorithms Research参考文献 25被引用 6

一句话总结

该论文提出BM-Optimistic-Hedge，一种结合乐观Hedge与Blum-Mansour外部到内部后悔减少的新型算法，在多人游戏中实现了更快的协同均衡收敛速度。该文证明了交换后悔的衰减速率为$ O(m^{1/2}(n\log n/T)^{3/4}) $，显著优于先前的$ O(\sqrt{n\log n/T}) $界；并表明在双人游戏中，乐观Hedge的后悔衰减速率为$ O(1/T^{5/6}) $，优于先前的$ O(1/T^{3/4}) $，而普通Hedge无法超过$ O(1/\sqrt{T}) $，从而解决了长期悬而未决的问题。

ABSTRACT

We consider the setting where players run the Hedge algorithm or its optimistic variant to play an $n$-action game repeatedly for $T$ rounds. 1) For two-player games, we show that the regret of optimistic Hedge decays at $ ilde{O}( 1/T ^{5/6} )$, improving the previous bound $O(1/T^{3/4})$ by Syrgkanis, Agarwal, Luo and Schapire (NIPS'15) 2) In contrast, we show that the convergence rate of vanilla Hedge is no better than $ ildeΩ(1/ \sqrt{T})$, addressing an open question posted in Syrgkanis, Agarwal, Luo and Schapire (NIPS'15). For general m-player games, we show that the swap regret of each player decays at rate $ ilde{O}(m^{1/2} (n/T)^{3/4})$ when they combine optimistic Hedge with the classical external-to-internal reduction of Blum and Mansour (JMLR'07). The algorithm can also be modified to achieve the same rate against itself and a rate of $ ilde{O}(\sqrt{n/T})$ against adversaries. Via standard connections, our upper bounds also imply faster convergence to coarse correlated equilibria in two-player games and to correlated equilibria in multiplayer games.

研究动机与目标

• 改进重复博弈中后悔最小化的收敛速度，特别是在多人设置下的交换后悔。
• 解决一个开放问题：普通Hedge在重复博弈中是否能实现优于$ O(1/\sqrt{T}) $的后悔收敛速度。
• 通过结合乐观Hedge与Blum-Mansour减少法，建立多人博弈中交换后悔的更紧界。
• 通过改进的后悔界，展示更快的协同均衡收敛速度。
• 表明BM-Optimistic-Hedge算法在对抗性环境中仍保持鲁棒性，同时实现更快的收敛速度。

提出的方法

• BM-Optimistic-Hedge算法将乐观Hedge算法与Blum和Mansour的外部到内部后悔减少方法相结合。
• 利用乐观Hedge的RVU（由效用变化界定的后悔）性质来限制单个玩家的后悔。
• 基于通过$ \ell_\infty $-范数中成本向量变化所界定的策略轨迹$ \ell_1 $-范数变化，采用稳定性论证。
• 应用马尔可夫链树定理，控制由Hedge诱导的转移矩阵小扰动下平稳分布的敏感性。
• 使用轨迹长度论证，将策略移动与损失向量变化关联，从而实现更紧的后悔界。
• 还结合了[7]中的经典算法与乐观预测，推导出第二个快速无交换后悔算法。

实验结果

研究问题

• RQ1 能否将多人博弈中交换后悔的收敛速度改进至标准$ O(\sqrt{n\log n/T}) $界以上？
• RQ2 在双人博弈中，乐观Hedge是否能实现优于$ O(1/T^{3/4}) $的后悔衰减速率？
• RQ3 在重复博弈中，普通Hedge能否实现优于$ O(1/\sqrt{T}) $的后悔收敛速度，如在对抗性环境中所见？
• RQ4 乐观Hedge的策略轨迹是否足够稳定，以使其与Blum-Mansour减少法结合后实现快速收敛？
• RQ5 具有低近似后悔性质的无交换后悔算法，是否能导致在平滑博弈中快速收敛至近似最优的社会福利？

主要发现

• 在使用BM-Optimistic-Hedge的$ m $-人博弈中，每位玩家的交换后悔衰减速率为$ O(m^{1/2}(n\log n/T)^{3/4}) $，优于先前的$ O(\sqrt{n\log n/T}) $界。
• 在双人博弈中，乐观Hedge的平均后悔衰减速率为$ O(1/T^{5/6}) $，优于先前的$ O(1/T^{3/4}) $界。
• 普通Hedge在重复博弈中无法实现优于$ O(1/\sqrt{T}) $的后悔衰减速率，从而解决了Syrgkanis等人[27]提出的开放问题。
• 使用BM-Optimistic-Hedge的玩家的经验分布可在$ O(n\log n/\epsilon^{4/3}) $轮内收敛至$ \epsilon $-协同均衡，优于先前的$ O(n\log n/\epsilon^2) $界。
• 该算法在对抗环境中保持鲁棒性，当BM-Optimistic-Hedge与经典-乐观变体相互对弈时，两者均实现快速收敛。
• 在平滑博弈中，当玩家使用具有低近似后悔性质的无交换后悔算法时，平均社会福利以$ O(1/T) $的速率收敛至近似最优水平。