[论文解读] Linear Last-iterate Convergence in Constrained Saddle-point Optimization

Chen-Yu Wei, Chung‐Wei Lee+2 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques参考文献 46被引用 8

一句话总结

该论文在约束型鞍点优化中建立了乐观梯度下降上升法（OGDA）与乐观乘法权重更新法（OMWU）的线性最后迭代收敛性，引入了一种类鞍点度量次正则性（Saddle-Point Metric Subregularity, SP-MS）条件，确保在常数学习率下实现指数收敛。对于多面体上的双线性博弈——包括矩阵博弈——该文证明了在不依赖唯一均衡的前提下实现线性收敛，显著推广了先前结果，并通过实验验证了该方法的有效性。

ABSTRACT

Optimistic Gradient Descent Ascent (OGDA) and Optimistic Multiplicative Weights Update (OMWU) for saddle-point optimization have received growing attention due to their favorable last-iterate convergence. However, their behaviors for simple bilinear games over the probability simplex are still not fully understood - previous analysis lacks explicit convergence rates, only applies to an exponentially small learning rate, or requires additional assumptions such as the uniqueness of the optimal solution. In this work, we significantly expand the understanding of last-iterate convergence for OGDA and OMWU in the constrained setting. Specifically, for OMWU in bilinear games over the simplex, we show that when the equilibrium is unique, linear last-iterate convergence is achieved with a learning rate whose value is set to a universal constant, improving the result of (Daskalakis & Panageas, 2019b) under the same assumption. We then significantly extend the results to more general objectives and feasible sets for the projected OGDA algorithm, by introducing a sufficient condition under which OGDA exhibits concrete last-iterate convergence rates with a constant learning rate whose value only depends on the smoothness of the objective function. We show that bilinear games over any polytope satisfy this condition and OGDA converges exponentially fast even without the unique equilibrium assumption. Our condition also holds for strongly-convex-strongly-concave functions, recovering the result of (Hsieh et al., 2019). Finally, we provide experimental results to further support our theory.

研究动机与目标

• 解决现有对OGDA与OMWU在约束型鞍点问题分析中缺乏显式收敛速率以及依赖指数级小学习率的问题。
• 填补对概率单纯形上双线性博弈最后迭代收敛性理解的空白，特别是当均衡不唯一时的情况。
• 通过引入新的充分条件——类鞍点度量次正则性（SP-MS），将收敛保证推广至单纯形之外并摆脱唯一均衡假设。
• 证明OGDA在任意多面体上的双线性博弈中可实现指数收敛，即使在无唯一均衡条件下，仅使用常数学习率。
• 通过实证结果验证理论发现，表明OGDA在矩阵博弈中收敛速度优于OMWU。

提出的方法

• 提出类鞍点度量次正则性（SP-MS）条件作为光滑凸-凹鞍点问题中OGDA最后迭代收敛的充分条件。
• 证明OGDA在$T$轮迭代后平均对偶间隙收敛速率为$\mathcal{O}(1/\sqrt{T})$，而在SP-MS条件下，可实现具有常数学习率的确定性最后迭代收敛速率。
• 证明任意多面体上的双线性博弈均满足SP-MS条件，从而在存在多个均衡时仍能实现OGDA的指数收敛。
• 表明SP-MS在强凸-强凹函数情形下成立，将Hsieh等人（2019）的先前结果作为特例恢复。
• 构造一个非多面体可行集的反例，表明OGDA在该情形下无法实现线性收敛，凸显可行集几何结构的重要性。
• 结合Kullback-Leibler散度界与李雅普诺夫函数论证等分析技术，建立在SP-MS条件下的收敛性。

实验结果

研究问题

• RQ1 OGDA能否在不假设唯一均衡的前提下，实现对概率单纯形上双线性博弈的线性最后迭代收敛？
• RQ2 目标函数与可行集需满足何种条件，才能确保OGDA在常数学习率下实现最后迭代收敛？
• RQ3 SP-MS条件是否适用于多面体上的双线性博弈？其是否意味着OGDA的指数收敛？
• RQ4 在矩阵博弈中，OGDA与OMWU的性能相比如何，特别是在收敛速度与学习率依赖性方面？
• RQ5 SP-MS条件是线性收敛的必要条件还是充分条件？其在非多面体可行集上是否失效？

主要发现

• 在具有唯一均衡的单纯形上双线性博弈中，OMWU可实现线性最后迭代收敛，且使用统一常数学习率，优于Daskalakis与Panageas（2019b）的结果。
• 在SP-MS条件下，OGDA可实现任意多面体上双线性博弈的指数最后迭代收敛，即使不存在唯一均衡。
• SP-MS条件在多面体上的双线性博弈及强凸-强凹函数情形下成立，从而推广了先前结果。
• SP-MS条件并非对所有可行集均成立——在构造的非多面体集合双线性博弈中，OGDA被证明无法实现线性收敛。
• 实验结果表明，尽管OGDA与OMWU均实现指数收敛，OGDA在矩阵博弈中收敛速度更快，表明SP-MS框架下OGDA具有实际优势。
• 下界分析确认在特定示例中$\|\bm{z}_t - \bm{z}^*\| \geq \Omega(1/t)$，表明收敛速率在对数因子范围内是紧致的。