[论文解读] Last Iterate is Slower than Averaged Iterate in Smooth Convex-Concave Saddle Point Problems

Noah Golowich, Sarath Pattathil+2 more|arXiv (Cornell University)|Jan 31, 2020

Stochastic Gradient Optimization Techniques被引用 17

一句话总结

本文证明了在光滑凸-凹鞍点问题中，外梯度（Extragradient, EG）算法的最后迭代点收敛速率为 $O(1/\sqrt{T})$，显著慢于其平均迭代点（ergodic iterate）的 $O(1/T)$ 收敛速率。通过建立匹配的 $\Omega(1/\sqrt{T})$ 下界，本文证明了该速率是紧致的，揭示了在此类问题中最后迭代点与平均迭代点收敛速度之间存在二次量级的差距。

ABSTRACT

In this paper we study the smooth convex-concave saddle point problem. Specifically, we analyze the last iterate convergence properties of the Extragradient (EG) algorithm. It is well known that the ergodic (averaged) iterates of EG converge at a rate of $O(1/T)$ (Nemirovski, 2004). In this paper, we show that the last iterate of EG converges at a rate of $O(1/\\sqrt{T})$. To the best of our knowledge, this is the first paper to provide a convergence rate guarantee for the last iterate of EG for the smooth convex-concave saddle point problem. Moreover, we show that this rate is tight by proving a lower bound of $\\Omega(1/\\sqrt{T})$ for the last iterate. This lower bound therefore shows a quadratic separation of the convergence rates of ergodic and last iterates in smooth convex-concave saddle point problems.

研究动机与目标

• 分析外梯度（EG）算法在光滑凸-凹鞍点问题中最后迭代点的收敛行为。
• 为EG算法最后迭代点的收敛速率建立紧致的收敛速率，与平均迭代点已知的 $O(1/T)$ 速率形成对比。
• 揭示在此类问题中，最后迭代点与平均迭代点之间收敛速度的根本性差距。
• 提供与上界匹配的下界，证明 $O(1/\sqrt{T})$ 速率对最后迭代点而言是最优的。

提出的方法

• 作者在光滑凸-凹鞍点问题的背景下分析外梯度（EG）算法。
• 利用函数 $f(\mathbf{x}, \mathbf{y})$ 的光滑性与凸-凹结构，推导出最后迭代点收敛速率的上界。
• 构造一个特定的问题实例，证明最后迭代点收敛速率的 $\Omega(1/\sqrt{T})$ 下界。
• 通过分析鞍点间隙与迭代点轨迹的性质，证明上界的紧致性。
• 证明技术结合了最坏情况分析与对抗性函数的显式构造，以匹配上界。

实验结果

研究问题

• RQ1 在外梯度算法的光滑凸-凹鞍点问题中，最后迭代点的收敛速率是多少？
• RQ2 在此设置下，最后迭代点的收敛速率与平均迭代点（ergodic iterate）的收敛速率相比如何？
• RQ3 对最后迭代点收敛速率的 $O(1/\sqrt{T})$ 上界是否紧致？
• RQ4 能否在此类问题中为最后迭代点建立 $\Omega(1/\sqrt{T})$ 的下界？

主要发现

• 在外梯度算法的光滑凸-凹鞍点问题中，最后迭代点的收敛速率为 $O(1/\sqrt{T})$。
• 该速率被证明是紧致的，因为本文建立了匹配的 $\Omega(1/\sqrt{T})$ 下界。
• 最后迭代点的收敛速率比平均迭代点的 $O(1/T)$ 速率慢两个数量级。
• 本文首次为该设置下EG算法的最后迭代点提供了收敛速率保证。
• 该结果揭示了在光滑凸-凹鞍点问题中，最后迭代点与平均迭代点收敛速度之间存在根本性性能差距。
• 分析结果确认，即使在光滑性和凸-凹性假设下，最后迭代点也无法实现更快的 $O(1/T)$ 收敛速率。