[论文解读] Faster Rates for Convex-Concave Games

Jacob Abernethy, Kevin A. Lai+2 more|arXiv (Cornell University)|May 17, 2018

Advanced Bandit Algorithms Research参考文献 20被引用 11

一句话总结

本文提出了一种使用无遗憾学习算法求解凸-凹博弈的更快收敛速率，通过乐观预测方法实现 $O(1/T^2)$ 的收敛速率，并在曲率假设下获得线性速率 $O(e^{-T})$。该研究将这些结果与Frank-Wolfe方法联系起来，恢复了已知的快速收敛速率，并通过在线学习框架加以扩展。

ABSTRACT

We consider the use of no-regret algorithms to compute equilibria for particular classes of convex-concave games. While standard regret bounds would lead to convergence rates on the order of $O(T^{-1/2})$, recent work \citep{RS13,SALS15} has established $O(1/T)$ rates by taking advantage of a particular class of optimistic prediction algorithms. In this work we go further, showing that for a particular class of games one achieves a $O(1/T^2)$ rate, and we show how this applies to the Frank-Wolfe method and recovers a similar bound \citep{D15}. We also show that such no-regret techniques can even achieve a linear rate, $O(\exp(-T))$, for equilibrium computation under additional curvature assumptions.

研究动机与目标

• 改进凸-凹博弈中均衡计算的收敛速率，超越标准的 $O(T^{-1/2})$ 遗憾界。
• 将最近从乐观算法获得的 $O(1/T)$ 速率扩展到在更强结构假设下的 $O(1/T^2)$ 速率。
• 建立无遗憾算法实现线性收敛速率 $O(e^{-T})$ 的条件，通过曲率假设实现。
• 将这些快速收敛速率与Frank-Wolfe方法联系起来，恢复或改进已知的收敛界。

提出的方法

• 利用包含未来梯度估计的乐观预测算法，以减少遗憾并加速收敛。
• 将在线学习框架应用于零和凸-凹博弈，将玩家策略建模为迭代更新的策略。
• 引入基于曲率的假设，使遗憾分析能够从次线性衰减过渡到指数衰减。
• 通过在强凸性和光滑性条件下分析对偶间隙和遗憾分解，推导收敛速率。
• 将Frank-Wolfe方法重新解释为无遗憾学习的一个实例，从而利用在线凸优化工具进行速率分析。
• 利用遗憾与对偶间隙之间的对偶性，以累积遗憾为依据界定向均衡的距离。

实验结果

研究问题

• RQ1 在更强结构假设下，无遗憾算法能否在凸-凹博弈中实现 $O(1/T^2)$ 的收敛速率？
• RQ2 曲率条件如何影响零和博弈中无遗憾学习的收敛速率？
• RQ3 能否通过在线学习的视角分析Frank-Wolfe方法，以恢复或改进已知的收敛速率？
• RQ4 乐观预测与鞍点问题中加速收敛之间存在何种关系？
• RQ5 在何种条件下，无遗憾学习在均衡计算中可实现线性收敛 $O(e^{-T})$？

主要发现

• 本文在适当的光滑性和强凸性假设下，通过乐观无遗憾算法，建立了凸-凹博弈的 $O(1/T^2)$ 收敛速率。
• 在额外的曲率假设下，该方法实现了 $O(e^{-T})$ 的线性收敛速率，显著快于多项式速率。
• 当将Frank-Wolfe方法解释为具有乐观更新的无遗憾学习算法时，其可实现 $O(1/T^2)$ 的收敛速率。
• 分析表明，对偶间隙的衰减速率与遗憾相同，从而能够对均衡计算提供紧致的界。
• 结果推广了先前的 $O(1/T)$ 速率，并提供了一个统一框架，将在线学习、鞍点问题和一阶方法联系起来。