[论文解读] AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization

Feihu Huang, Wu, Xidong+1 more|arXiv (Cornell University)|Jun 30, 2021

Sparse and Compressive Sensing Techniques参考文献 33被引用 5

一句话总结

该论文提出AdaGDA，一种针对非凸-强凹极小极大问题的更快自适应梯度下降上升方法，采用统一的自适应矩阵与基于动量的方差缩减技术。AdaGDA的梯度复杂度为$\tilde{O}(\kappa^{4}\epsilon^{-4})$，VR-AdaGDA的梯度复杂度为$\tilde{O}(\kappa^{4.5}\epsilon^{-3})$，相较于先前的自适应GDA方法分别提升了$O(\sqrt{\kappa})$和$O(\epsilon^{-1})$。实验结果验证了其在策略评估与公平分类器学习任务中的高效性。

ABSTRACT

In the paper, we propose a class of faster adaptive Gradient Descent Ascent (GDA) methods for solving the nonconvex-strongly-concave minimax problems by using the unified adaptive matrices, which include almost all existing coordinate-wise and global adaptive learning rates. In particular, we provide an effective convergence analysis framework for our adaptive GDA methods. Specifically, we propose a fast Adaptive Gradient Descent Ascent (AdaGDA) method based on the basic momentum technique, which reaches a lower gradient complexity of $ ilde{O}(κ^4ε^{-4})$ for finding an $ε$-stationary point without large batches, which improves the existing results of the adaptive GDA methods by a factor of $O(\sqrtκ)$. Moreover, we propose an accelerated version of AdaGDA (VR-AdaGDA) method based on the momentum-based variance reduced technique, which achieves a lower gradient complexity of $ ilde{O}(κ^{4.5}ε^{-3})$ for finding an $ε$-stationary point without large batches, which improves the existing results of the adaptive GDA methods by a factor of $O(ε^{-1})$. Moreover, we prove that our VR-AdaGDA method can reach the best known gradient complexity of $ ilde{O}(κ^{3}ε^{-3})$ with the mini-batch size $O(κ^3)$. The experiments on policy evaluation and fair classifier learning tasks are conducted to verify the efficiency of our new algorithms.

研究动机与目标

• 解决现有自适应GDA方法在非凸-强凹极小极大问题中梯度复杂度过高的问题。
• 提出一种统一框架，利用包含坐标级与全局学习率的自适应矩阵实现自适应学习率。
• 通过动量与方差缩减技术提升收敛速率，且无需依赖大批次。
• 在一般条件下，为自适应GDA方法建立严谨的收敛性分析框架。
• 在真实机器学习任务（如策略评估与公平分类器学习）中验证所提算法的效率。

提出的方法

• 提出AdaGDA，一种基于基础动量技术的快速自适应GDA方法，以降低梯度复杂度。
• 引入VR-AdaGDA，一种通过基于动量的方差缩减实现加速的变体，以进一步提升收敛性。
• 采用统一的自适应矩阵，在单一框架内整合坐标级与全局自适应学习率。
• 通过一种新颖的分析框架推导收敛边界，该框架追踪梯度范数与自适应矩阵更新的演化过程。
• 提出VR-AdaGDA的mini-batch变体，实现$\tilde{O}(\kappa^{3}\epsilon^{-3})$的复杂度，且批次大小为$O(\kappa^{3})$。
• 使用李雅普诺夫函数与递归不等式，界定外目标梯度期望范数的上界。

实验结果

研究问题

• RQ1 自适应GDA方法能否在非凸-强凹极小极大问题中实现优于现有方法的梯度复杂度？
• RQ2 动量与方差缩减技术能否与自适应学习率有效结合以加速收敛？
• RQ3 所提框架是否能在不依赖大批次的情况下维持低梯度复杂度？
• RQ4 所提自适应GDA及其加速变体的理论梯度复杂度是多少？
• RQ5 所提方法能否在支持一般自适应学习率的同时实现最先进收敛速率？

主要发现

• AdaGDA在寻找$\epsilon$-驻点时的梯度复杂度为$\tilde{O}(\kappa^{4}\epsilon^{-4})$，相较于先前的自适应GDA方法提升了$O(\sqrt{\kappa})$的因子。
• VR-AdaGDA在不使用大批次的情况下实现了$\tilde{O}(\kappa^{4.5}\epsilon^{-3})$的梯度复杂度，相较于先前结果提升了$O(\epsilon^{-1})$的因子。
• 当mini-batch大小为$O(\kappa^{3})$时，VR-AdaGDA达到了目前已知的最佳梯度复杂度$\tilde{O}(\kappa^{3}\epsilon^{-3})$。
• 收敛性分析框架具有通用性，适用于广泛类别的自适应矩阵，包括坐标级与全局自适应率。
• 在策略评估与公平分类器学习任务上的实验表明，所提算法具有高效性与实际优越性。
• 理论边界表明，在$ q = O(\kappa^{\nu})$的批次大小下，VR-AdaGDA的收敛速率是$O(\kappa^{(3/2 - \nu/2)}/T^{1/3})$，从而导致$ T = \Omega(\kappa^{(9/2 - 3\nu/2)}\epsilon^{-3}) $次迭代。