[论文解读] Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems

Luo Luo, Haishan Ye+2 more|arXiv (Cornell University)|Jan 11, 2020

Stochastic Gradient Optimization Techniques参考文献 48被引用 15

一句话总结

该论文提出SREDA，一种用于非凸-强凹极小极大问题的新型随机递归梯度下降上升算法。通过利用递归方差减少和x与y变量间自适应学习率平衡，SREDA实现了最优的随机梯度复杂度O(κ³ε⁻³)，优于先前最优方法SGDA的O(κ³ε⁻⁴)。

ABSTRACT

We consider nonconvex-concave minimax optimization problems of the form $\min_{\bf x}\max_{\bf y\in{\mathcal Y}} f({\bf x},{\bf y})$, where $f$ is strongly-concave in $\bf y$ but possibly nonconvex in $\bf x$ and ${\mathcal Y}$ is a convex and compact set. We focus on the stochastic setting, where we can only access an unbiased stochastic gradient estimate of $f$ at each iteration. This formulation includes many machine learning applications as special cases such as robust optimization and adversary training. We are interested in finding an ${\mathcal O}(\varepsilon)$-stationary point of the function $Φ(\cdot)=\max_{\bf y\in{\mathcal Y}} f(\cdot, {\bf y})$. The most popular algorithm to solve this problem is stochastic gradient decent ascent, which requires $\mathcal O(κ^3\varepsilon^{-4})$ stochastic gradient evaluations, where $κ$ is the condition number. In this paper, we propose a novel method called Stochastic Recursive gradiEnt Descent Ascent (SREDA), which estimates gradients more efficiently using variance reduction. This method achieves the best known stochastic gradient complexity of ${\mathcal O}(κ^3\varepsilon^{-3})$, and its dependency on $\varepsilon$ is optimal for this problem.

研究动机与目标

• 解决在f关于x非凸且关于y强凹的随机非凸-强凹极小极大问题中寻找ε-稳定点的挑战。
• 克服现有方法（如SGDA）梯度复杂度较高的问题，其复杂度为O(κ³ε⁻⁴)。
• 设计一种基于方差减少的算法，以高效平衡x和y变量的学习率与迭代次数。
• 通过将梯度复杂度降低至O(κ³ε⁻³)，实现对ε的最优依赖关系，与非凸优化的理论下界一致。
• 提供统一的分析框架，涵盖有限和一般随机设置，并在两种情况下均获得紧致的复杂度界。

提出的方法

• 提出SREDA，一种随机递归梯度下降上升算法，通过维护递归梯度估计器来减少x和y更新中的方差。
• 采用多步内层循环进行y更新，以稳定梯度估计并平衡x与y变量间的学习率。
• 引入自适应学习率机制，其中y更新速率是x更新速率的O(κ²)倍，从而在无需嵌套循环的情况下实现收敛。
• 对x和y的梯度估计器应用递归方差减少技术，降低随机梯度评估次数。
• 采用双层循环结构，结合基于周期的更新和自适应步长，其中外层循环控制梯度估计器的精度。
• 使用李雅普诺夫函数进行收敛性分析，并证明Φ(x) = max_y f(x,y)的梯度范数期望收敛至O(ε)。

实验结果

研究问题

• RQ1 能否有效将方差减少技术适配到非凸-强凹极小极大问题中，以改善梯度复杂度？
• RQ2 求解非凸-强凹极小极大问题的随机一阶算法对ε的最优依赖关系是什么？
• RQ3 递归梯度估计能否消除SGDA中对嵌套循环的需求，同时保持收敛保证？
• RQ4 条件数κ在该类问题的随机设置下如何影响收敛速率？
• RQ5 找到Φ(x) = max_y f(x,y)的ε-稳定点所需的最少随机梯度评估次数是多少？

主要发现

• SREDA实现了O(κ³ε⁻³)的随机梯度复杂度，该结果为最优，与非凸优化的已知下界一致。
• 与SGDA的O(κ³ε⁻⁴)复杂度相比，SREDA通过将ε依赖关系从ε⁻⁴降低至ε⁻³，实现了改进。
• 在有限和问题中，SREDA实现了O((n + κ)log(κ/ε))的梯度评估次数，对n和κ而言接近最优。
• 在n ≥ κ²的区域，复杂度为O(n log(κ/ε) + κ²n¹ᐟ²ε⁻²)，表现出对n的有利缩放特性。
• 在n ≤ κ²的区域，复杂度为O((κ² + κn)ε⁻²)，在小n情况下仍保持高效。
• 分析结果证实，递归梯度估计器能有效降低方差，从而在无需显式最大值查询的情况下实现更快收敛。