[论文解读] Linear Last-iterate Convergence for Matrix Games and Stochastic Games.

Chung‐Wei Lee, Haipeng Luo+2 more|arXiv (Cornell University)|Jun 16, 2020

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文在矩阵博弈和光滑双线性函数中，使用固定学习率，建立了乐观梯度下降上升（OGDA）算法的显式最后迭代收敛速率，证明了无需额外假设的指数收敛。该研究进一步将结果推广至有限时域随机博弈，首次提出一种算法，既能实现自身对弈下的线性最后迭代收敛，又能对缓慢变化的对手实现低遗憾。

ABSTRACT

Optimistic Gradient Descent Ascent (OGDA) algorithm for saddle-point optimization has received growing attention due to its favorable last-iterate convergence. However, its behavior for simple two-player matrix games is still not fully understood -- previous analysis lacks explicit convergence rates, only applies to exponentially small learning rate, or requires additional conditions such as uniqueness of the optimal solution. In this work, we significantly expand the understanding of OGDA, introducing a set of sufficient conditions under which OGDA exhibits concrete last-iterate convergence rates with a constant learning rate. Specifically, we show that matrix games satisfy these conditions and OGDA converges exponentially fast without any additional assumptions. More generally, our conditions hold for smooth bilinear functions and strongly-convex-strongly-concave functions over a constrained set. We provide experimental results to further support our theory. To further demonstrate the significance of our results for matrix games, we greatly generalize the ideas to finite-horizon stochastic/Markov games and provide the first algorithm that simultaneously ensures 1) linear last-iterate convergence when playing against itself and 2) low regret when playing against an arbitrary slowly-changing opponent.

研究动机与目标

• 为填补对OGDA在双人矩阵博弈中收敛行为理解的空白，特别是明确收敛速率与学习率约束问题。
• 识别OGDA在固定学习率下实现指数最后迭代收敛的充分条件，且无需解的唯一性假设。
• 将理论框架扩展至约束集上的光滑双线性函数与强凸-强凹函数。
• 将结果推广至有限时域随机/马尔可夫博弈，实现自身对弈下的稳定性与对自适应对手的鲁棒性。

提出的方法

• 引入一组关于博弈结构的充分条件，确保OGDA在固定学习率下实现最后迭代收敛。
• 证明矩阵博弈满足这些条件，从而实现无需额外假设的指数收敛。
• 将该框架应用于光滑双线性函数及紧致集上的强凸-强凹函数。
• 设计一种新型算法用于有限时域随机博弈，确保在自身对弈中实现线性最后迭代收敛。
• 理论分析表明，该算法在面对缓慢变化的对手时可实现低 regret，兼具稳定性和适应性。
• 利用李雅普诺夫风格分析与单调变分不等式性质，建立收敛速率。

实验结果

研究问题

• RQ1 在何种条件下，OGDA 能在矩阵博弈中以固定学习率实现显式最后迭代收敛？
• RQ2 是否可以在不依赖指数级小学习率或解唯一性的情况下，建立 OGDA 的收敛速率？
• RQ3 如何将矩阵博弈的理论框架扩展至更复杂的设定，如随机博弈？
• RQ4 能否设计一种算法，同时在有限时域随机博弈中实现线性最后迭代收敛与低 regret？

主要发现

• 在矩阵博弈中，OGDA 以固定学习率实现指数级快速收敛，无需解的唯一性或额外假设。
• 收敛的充分条件可普遍适用于光滑双线性函数及约束集上的强凸-强凹函数。
• 所提出的算法在有限时域随机博弈中与自身对弈时，实现线性最后迭代收敛。
• 同一算法在面对任意缓慢变化的对手时可确保低 regret，这是该设定下的首次实现。
• 实验结果支持理论发现，实证表明算法在实践中具有快速且稳定的收敛性。