[论文解读] Last iterate convergence in no-regret learning: constrained min-max optimization for convex-concave landscapes

Qi Lei, Sai Ganesh Nagarajan+2 more|arXiv (Cornell University)|Feb 17, 2020

Advanced Bandit Algorithms Research参考文献 14被引用 14

一句话总结

该论文建立了在凸-凹极小-极大优化问题中，乐观乘法权重更新（OMWU）的局部最终迭代收敛性，扩展了以往仅适用于双线性情形的结果。该方法基于无遗憾在线学习，仅使用历史数据进行更新，无需额外梯度步骤或非在线信息，实现了比标准方法更鲁棒的收敛性与更低的学习率敏感度。

ABSTRACT

In a recent series of papers it has been established that variants of Gradient Descent/Ascent and Mirror Descent exhibit last iterate convergence in convex-concave zero-sum games. Specifically, \cite{DISZ17, LiangS18} show last iterate convergence of the so called "Optimistic Gradient Descent/Ascent" for the case of extit{unconstrained} min-max optimization. Moreover, in \cite{Metal} the authors show that Mirror Descent with an extra gradient step displays last iterate convergence for convex-concave problems (both constrained and unconstrained), though their algorithm does not follow the online learning framework; it uses extra information rather than extit{only} the history to compute the next iteration. In this work, we show that "Optimistic Multiplicative-Weights Update (OMWU)" which follows the no-regret online learning framework, exhibits last iterate convergence locally for convex-concave games, generalizing the results of \cite{DP19} where last iterate convergence of OMWU was shown only for the extit{bilinear case}. We complement our results with experiments that indicate fast convergence of the method.

研究动机与目标

• 在凸-凹极小-极大优化中建立 OMWU 的最终迭代收敛性，将先前仅限于双线性设定的结果推广至更一般情形。
• 在无遗憾在线学习框架内分析 OMWU，确保其仅使用历史数据进行更新。
• 证明 OMWU 在约束凸-凹景观中实现稳定且逐点收敛。
• 通过与投影乐观梯度下降-上升（OGDA）的实证比较，突出其对学习率和初始化的鲁棒性。

提出的方法

• OMWU 作为带熵正则化的在线学习算法应用，其更新策略基于过往梯度和对下一步的乐观预测。
• 该算法采用基于预测的更新规则，引入前瞻项以稳定收敛。
• 通过在凸-凹设定下对 OMWU 动力学的固定点附近进行局部分析，证明收敛性。
• 该方法在单纯形约束下运行，确保训练过程中迭代点始终位于概率单纯形内。
• 实验使用 KL 散度和 l1 误差来衡量在不同问题规模和学习率下的收敛速度与稳定性。
• 对比实验包括投影 OGDA，以在相同条件下评估鲁棒性与收敛速度。

实验结果

研究问题

• RQ1 OMWU 在双线性情形之外的凸-凹极小-极大问题中是否表现出最终迭代收敛性？
• RQ2 与投影 OGDA 相比，OMWU 的收敛行为在学习率和初始化方面的鲁棒性如何？
• RQ3 问题规模和学习率对 OMWU 收敛速度与稳定性的影响是什么？
• RQ4 OMWU 是否能在不使用额外梯度信息或非在线更新的情况下实现全局收敛？

主要发现

• OMWU 实现了凸-凹极小-极大问题的局部最终迭代收敛，推广了以往仅限于双线性函数的研究结果。
• 实验表明，OMWU 在不同问题规模（n = 25 至 250）和学习率（η ∈ {0.01, 0.1, 1.0, 10.0}）下均实现全局且稳定的收敛。
• 与投影 OGDA 相比，OMWU 对学习率选择的敏感度更低；OGDA 在大步长时发散，小步长时进展缓慢。
• 在所有测试设置中，KL 散度单调下降，表明一致收敛至均衡点。
• 在 10 次随机初始化下，该算法保持低方差，图中阴影区域表明标准差紧密。
• 在低维凸-凹示例中，OMWU 轨迹明显向均衡点推进，证实了其稳定且可预测的动力学行为。