[论文解读] Explore Aggressively, Update Conservatively: Stochastic Extragradient Methods with Variable Stepsize Scaling

Yu-Guan Hsieh, Franck Iutzeler+2 more|arXiv (Cornell University)|Mar 23, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用 16

一句话总结

本文提出了一种双步长随机外梯度方法，其中探索步长比更新步长更激进，确保在误差界条件下几乎必然收敛，并实现 $Ó(1/t)$ 的最后迭代收敛速率。该方法解决了标准随机外梯度在双线性博弈中不收敛的问题，并首次为单调和双线性问题中的随机外梯度提供了最后迭代收敛速率分析。

ABSTRACT

Owing to their stability and convergence speed, extragradient methods have become a staple for solving large-scale saddle-point problems in machine learning. The basic premise of these algorithms is the use of an extrapolation step before performing an update; thanks to this exploration step, extra-gradient methods overcome many of the non-convergence issues that plague gradient descent/ascent schemes. On the other hand, as we show in this paper, running vanilla extragradient with stochastic gradients may jeopardize its convergence, even in simple bilinear models. To overcome this failure, we investigate a double stepsize extragradient algorithm where the exploration step evolves at a more aggressive time-scale compared to the update step. We show that this modification allows the method to converge even with stochastic gradients, and we derive sharp convergence rates under an error bound condition.

研究动机与目标

• 解决标准随机外梯度（EG）方法在双线性极小极大问题中虽在确定性情况下收敛，却在随机设置下失效的问题。
• 通过重新思考探索与更新步长之间的步长动态，克服随机设置下的非收敛问题。
• 在弱于以往工作的假设下，为随机EG提供最后迭代收敛保证，特别是在非单调和非凸设置中。
• 在误差界条件下建立精确的收敛速率，该条件在随机EG文献中为首次提出。
• 通过局部收敛性分析，确保对不稳定雅可比矩阵（包括纯虚特征值）具有鲁棒性，且以高概率收敛。

提出的方法

• 引入双步长方案，其中外推（探索）步长 $\gamma_t$ 的衰减速率慢于更新步长 $\eta_t$，从而实现相对于保守更新的激进探索。
• 采用两阶段更新：首先通过 $\gamma_t$ 缩放的梯度计算预测点，然后使用在预测点处 $\eta_t$ 缩放的梯度更新迭代点。
• 应用局部误差界条件以控制与解的距离，确保即使在雅可比矩阵具有纯虚特征值时也能实现收敛。
• 采用高概率分析框架，利用事件集 $E_t^{\rho}$ 控制偏离解路径的可能性。
• 推导出到解的期望平方距离的递归不等式，结合误差界和步长比例，建立 $\mathcal{O}(1/t^{1/3})$ 的收敛速率。
• 采用李雅普诺夫函数方法结合条件期望，以同时控制随机梯度噪声和步长衰减的影响。

实验结果

研究问题

• RQ1 为何标准随机外梯度在简单双线性鞍点问题中仍无法收敛？
• RQ2 是否可通过可变步长比例的改进外梯度方案，在随机设置下恢复最后迭代收敛性？
• RQ3 在误差界条件下，随机外梯度方法可实现何种收敛速率？
• RQ4 当解处的雅可比矩阵具有纯虚特征值（表明潜在不稳定性）时，该方法表现如何？
• RQ5 在随机梯度下，该方法能否在双线性问题中实现 $\mathcal{O}(1/t)$ 的收敛速率，与确定性性能相匹配？

主要发现

• 双步长外梯度（DSEG）方法在包括所有单调鞍点问题在内的广泛问题类中，几乎必然收敛到解。
• 在双线性极小极大问题中，DSEG方法实现了 $\mathcal{O}(1/t)$ 的最后迭代收敛速率，这是随机设置下的首次结果。
• 在误差界条件下，即使在非单调问题中，该方法对最后迭代也实现了 $\mathcal{O}(1/t^{1/3})$ 的收敛速率。
• 该方法即使在解处的雅可比矩阵具有纯虚特征值时，也能以任意高的概率实现局部收敛。
• 分析表明，条件 $\gamma_t \eta_t \tau^2 (1 - \gamma_t \beta) > 1/6$ 足够保证 $\mathcal{O}(1/t^{1/3})$ 的收敛速率，其中 $\tau$ 为误差界常数。
• 结果对随机梯度具有鲁棒性，无需增加批量大小或重复采样，优于以往方法。