[论文解读] Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax Problems

Quoc Tran-Dinh, Deyi Liu+1 more|arXiv (Cornell University)|Jun 27, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用 7

一句话总结

本文提出了一种新颖的单循环、方差缩减随机梯度算法，用于求解非凸-线性极小极大问题，结合平滑化与混合有偏方差缩减技术，实现了最优的 $Ø(T^{-2/3})$ 收敛速率和目前已知最佳的Oracle复杂度。该方法实现简单，超参数调优需求极少，并支持常数或递减步长下的单样本与小批量梯度估计器。

ABSTRACT

We develop a novel and single-loop variance-reduced algorithm to solve a class of stochastic nonconvex-convex minimax problems involving a nonconvex-linear objective function, which has various applications in different fields such as machine learning and robust optimization. This problem class has several computational challenges due to its nonsmoothness, nonconvexity, nonlinearity, and non-separability of the objective functions. Our approach relies on a new combination of recent ideas, including smoothing and hybrid biased variance-reduced techniques. Our algorithm and its variants can achieve $\mathcal{O}(T^{-2/3})$-convergence rate and the best known oracle complexity under standard assumptions, where $T$ is the iteration counter. They have several computational advantages compared to existing methods such as simple to implement and less parameter tuning requirements. They can also work with both single sample or mini-batch on derivative estimators, and with constant or diminishing step-sizes. We demonstrate the benefits of our algorithms over existing methods through two numerical examples, including a nonsmooth and nonconvex-non-strongly concave minimax model.

研究动机与目标

• 解决在目标函数存在非光滑性、非凸性、非线性和非可分性情况下的随机非凸-线性极小极大问题所面临的计算挑战。
• 开发一种简单、高效且鲁棒的算法，避免双循环方法和近端线性子问题带来的高计算成本。
• 在该类问题的标准假设下，实现目前已知最佳的Oracle复杂度和收敛速率。
• 实现实际部署的可行性，超参数调优需求极少，并支持单样本与小批量梯度估计器。

提出的方法

• 该算法采用平滑化技术处理目标函数中非光滑的Fenchel共轭，从而支持基于梯度的优化。
• 提出一种混合有偏方差缩减方案，通过组合多个梯度估计器，在单循环中高效降低方差。
• 将原始极小极大问题重新表述为随机复合非凸优化问题，从而可应用方差缩减随机梯度方法。
• 提出一种重启变体以在实际中改善收敛性，尤其适用于非强凸设置。
• 该算法支持常数和递减步长，并兼容对随机函数及其Jacobian的单样本或小批量评估。
• 理论分析表明，该方法可实现以 $Ø(T^{-2/3})$ 速率收敛至一阶平稳点，且Oracle复杂度达到最优 $Ø(\varepsilon^{-3})$。

实验结果

研究问题

• RQ1 单循环、方差缩减的随机梯度方法能否在非凸-线性极小极大问题上实现最优收敛速率与Oracle复杂度？
• RQ2 如何在不依赖昂贵子问题求解的前提下，有效处理目标函数中的非光滑性与非可分性？
• RQ3 所提出的算法能否在收敛速度与计算效率方面优于现有的双循环或近端线性方法？
• RQ4 步长策略与小批量大小在实际设置中对算法性能有何影响？

主要发现

• 所提算法实现了 $Ø(T^{-2/3})$ 的收敛速率，该速率在该类问题的标准假设下为最优。
• 该方法达到了目前已知最佳的Oracle复杂度 $Ø(\varepsilon^{-3})$，与随机非凸优化的理论下界一致。
• 数值实验表明，该算法（命名为HSCG）在多个数据集上优于CIVR、SCG和Prox-Linear，尤其在高维与非光滑设置下表现更优。
• 该算法在不同块大小与数据配置下均保持强劲性能，展现出良好的鲁棒性与可扩展性。
• 在w8a与phishing等数据集上，HSCG显著优于Prox-Linear，尤其当子问题求解计算成本较高时。
• 即使在Prox-Linear表现良好的场景（如covtype数据集），HSCG仍保持竞争力，凸显其高效性与灵活性。