[论文解读] Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence

Tengyu Xu, Zhe Wang+2 more|arXiv (Cornell University)|Jun 16, 2020

Stochastic Gradient Optimization Techniques参考文献 31被引用 5

一句话总结

本文提出了首个用于非凸-强凹极小极大优化的零阶方差减少梯度下降上升（ZO-VRGDA）算法，结合递归方差减少与无梯度函数查询。其查询复杂度达到 $\mathcal{O}(\kappa(d_1+d_2)\epsilon^{-3})$，与理论下界一致，并在无需递减步长的情况下，相比先前方法性能提升数个数量级。

ABSTRACT

Many important machine learning applications amount to solving minimax optimization problems, and in many cases there is no access to the gradient information, but only the function values. In this paper, we focus on such a gradient-free setting, and consider the nonconvex-strongly-concave minimax stochastic optimization problem. In the literature, various zeroth-order (i.e., gradient-free) minimax methods have been proposed, but none of them achieve the potentially feasible computational complexity of $\mathcal{O}(ε^{-3})$ suggested by the stochastic nonconvex minimization theorem. In this paper, we adopt the variance reduction technique to design a novel zeroth-order variance reduced gradient descent ascent (ZO-VRGDA) algorithm. We show that the ZO-VRGDA algorithm achieves the best known query complexity of $\mathcal{O}(κ(d_1 + d_2)ε^{-3})$, which outperforms all previous complexity bound by orders of magnitude, where $d_1$ and $d_2$ denote the dimensions of the optimization variables and $κ$ denotes the condition number. In particular, with a new analysis technique that we develop, our result does not rely on a diminishing or accuracy-dependent stepsize usually required in the existing methods. To our best knowledge, this is the first study of zeroth-order minimax optimization with variance reduction. Experimental results on the black-box distributional robust optimization problem demonstrates the advantageous performance of our new algorithm.

研究动机与目标

• 为解决在仅能访问函数值的非凸-强凹极小极大问题中缺乏高效无梯度算法的问题。
• 弥合现有零阶方法与理论 $\mathcal{O}(\epsilon^{-3})$ 查询复杂度下界之间的差距。
• 开发一种方差减少方法，避免使用递减或依赖精度的步长。
• 建立一种新型分析框架，支持常数步长并实现更优的收敛速率。

提出的方法

• 提出 ZO-VRGDA，一种嵌套循环的零阶算法，利用递归方差减少进行梯度估计。
• 采用高斯平滑梯度估计器（GauGE）仅从函数值近似梯度。
• 提出一种新型分析技术，可在不依赖递减或依赖精度步长的前提下实现常数步长。
• 在外部循环和内部循环中均使用递归方差减少，以降低梯度估计器的方差。
• 设计两级采样方案：内部循环用于方差减少，外部循环用于迭代更新解。
• 通过有界外部目标函数 $\Phi(x)$ 的梯度范数期望来建立收敛性。

实验结果

研究问题

• RQ1 零阶极小极大算法是否能在非凸-强凹设置下实现理论 $\mathcal{O}(\epsilon^{-3})$ 的查询复杂度？
• RQ2 方差减少技术能否有效适配到零阶极小极大优化中以提升收敛速度？
• RQ3 是否可能在零阶极小极大方法中实现常数步长收敛而不损失精度？
• RQ4 能否开发一种新型分析框架以支持常数步长并获得更紧的复杂度界？

主要发现

• 所提出的 ZO-VRGDA 算法实现了 $\mathcal{O}(\kappa(d_1 + d_2)\epsilon^{-3})$ 的查询复杂度，与基于梯度方法的理论下界一致。
• 在查询复杂度方面，该算法相比所有先前的零阶方法性能提升数个数量级。
• 分析过程无需使用递减或依赖精度的步长，从而实现稳定且更快的收敛。
• 该算法是首个将方差减少与零阶极小极大优化相结合的方法，确立了新的基准。
• 在黑箱分布鲁棒优化上的实验结果证实，ZO-VRGDA 相较于现有方法表现出更优性能。
• 在适当的参数设置下，该方法在 $T = \mathcal{O}(\kappa\epsilon^{-2})$ 次迭代内实现 $\mathbb{E}[\|\nabla\Phi(\hat{x})\|_2] \leq \epsilon$。