[论文解读] A Unified Single-loop Alternating Gradient Projection Algorithm for Nonconvex-Concave and Convex-Nonconcave Minimax Problems

Zi Xu, Huiling Zhang+2 more|arXiv (Cornell University)|Jun 3, 2020

Sparse and Compressive Sensing Techniques参考文献 54被引用 23

一句话总结

该论文提出了一种统一的单循环交替梯度投影（AGP）算法，用于求解非凸-凹型和凸-非凹型极小极大问题。在非凸-强凹型设置下，该算法实现了 𝒪(ε⁻²) 的最优梯度复杂度；在非凸-凹型设置下，实现了 𝒪(ε⁻⁴) 的最优梯度复杂度，首次为（强）凸-非凹型情形提供了理论保证，并在单循环方法中达到了最先进性能。

ABSTRACT

Much recent research effort has been directed to the development of efficient algorithms for solving minimax problems with theoretical convergence guarantees due to the relevance of these problems to a few emergent applications. In this paper, we propose a unified single-loop alternating gradient projection (AGP) algorithm for solving smooth nonconvex-(strongly) concave and (strongly) convex-nonconcave minimax problems. AGP employs simple gradient projection steps for updating the primal and dual variables alternatively at each iteration. We show that it can find an $\varepsilon$-stationary point of the objective function in $\mathcal{O}\left( \varepsilon ^{-2} ight)$ (resp. $\mathcal{O}\left( \varepsilon ^{-4} ight)$) iterations under nonconvex-strongly concave (resp. nonconvex-concave) setting. Moreover, its gradient complexity to obtain an $\varepsilon$-stationary point of the objective function is bounded by $\mathcal{O}\left( \varepsilon ^{-2} ight)$ (resp., $\mathcal{O}\left( \varepsilon ^{-4} ight)$) under the strongly convex-nonconcave (resp., convex-nonconcave) setting. To the best of our knowledge, this is the first time that a simple and unified single-loop algorithm is developed for solving both nonconvex-(strongly) concave and (strongly) convex-nonconcave minimax problems. Moreover, the complexity results for solving the latter (strongly) convex-nonconcave minimax problems have never been obtained before in the literature. Numerical results show the efficiency of the proposed AGP algorithm. Furthermore, we extend the AGP algorithm by presenting a block alternating proximal gradient (BAPG) algorithm for solving more general multi-block nonsmooth nonconvex-(strongly) concave and (strongly) convex-nonconcave minimax problems. We can similarly establish the gradient complexity of the proposed algorithm under these four different settings.

研究动机与目标

• 开发一种单循环算法，能够高效求解非凸-凹型和凸-非凹型极小极大问题，并具备理论收敛保证。
• 填补（强）凸-非凹型极小极大问题在理论复杂度边界上的空白，该问题此前在文献中尚未被分析。
• 通过块交替近端梯度（BAPG）方法，将算法扩展至多块、非光滑、非凸-（强）凹型以及（强）凸-非凹型问题。
• 在四种不同问题设置下建立梯度复杂度边界：非凸-强凹型、非凸-凹型、（强）凸-非凹型，及其非光滑多块扩展形式。
• 通过在机器学习基准上的数值实验，展示所提算法的高效性与鲁棒性。

提出的方法

• AGP算法在每次迭代中仅使用一次梯度投影步骤，以单循环结构交替更新原变量（x）和对偶变量（y）。
• 采用简单的梯度投影步骤，无需精确求解内层子问题，避免了嵌套循环方法带来的计算负担。
• 通过块交替近端梯度（BAPG）方案将算法扩展至多块问题，其中每次仅更新一个块，使用近端梯度步骤。
• 在目标函数 f(x,y) 满足光滑性和有界性假设，且集合 𝒳 和 𝒴 受到约束的条件下进行收敛性分析。
• 通过一种新颖的分析框架推导出理论保证，该框架可追踪逼近 ε-驻点的进度，而无需精确求解内层问题。
• 该方法设计为具有最小内存和计算开销，适用于大规模机器学习应用。

实验结果

研究问题

• RQ1 单循环算法能否在非凸-凹型和非凸-强凹型极小极大问题中实现最优梯度复杂度？
• RQ2 是否可能为此前未被研究过的（强）凸-非凹型极小极大问题建立理论收敛保证？
• RQ3 与现有嵌套循环和单循环方法相比，所提AGP算法在迭代复杂度和梯度复杂度方面表现如何？
• RQ4 AGP框架能否推广至多块、非光滑、非凸-（强）凹型以及（强）凸-非凹型问题，并具备理论保证？
• RQ5 与嵌套循环算法相比，所提单循环方法在实际中是否既高效又可靠？

主要发现

• AGP算法在非凸-强凹型问题中实现了 𝒪(ε⁻²) 的梯度复杂度，与单循环方法中已知的最佳边界一致。
• 在非凸-凹型问题中，该算法实现了 𝒪(ε⁻⁴) 的梯度复杂度，这是该设置下单循环算法中的最优结果。
• 这是首次为（强）凸-非凹型极小极大问题建立理论收敛保证，分别实现了 𝒪(ε⁻²) 和 𝒪(ε⁻⁴) 的梯度复杂度。
• BAPG扩展在多块、非光滑、非凸-（强）凹型以及（强）凸-非凹型问题中也实现了类似的梯度复杂度边界，是该类问题中的首次理论结果。
• 在MNIST和CIFAR10上的数值实验表明，AGP在测试准确率和训练速度方面优于GDA和一种启发式算法，尤其在多任务学习设置中表现更优。
• 该算法通过避免精确求解内层问题，避免了嵌套循环方法带来的高内存和计算成本，使其在大规模应用中更具实用性。