[论文解读] Accelerated Stochastic Algorithms for Nonconvex Finite-sum and Multi-block Optimization

Guanghui Lan, Yu Yang|arXiv (Cornell University)|May 14, 2018

Stochastic Gradient Optimization Techniques参考文献 26被引用 5

一句话总结

本文提出了RapGrad和RapDual两种随机加速随机算法，用于解决非凸有限和问题及多块优化问题。通过利用随机块采样和邻近梯度技术，与批量方法相比，RapGrad将梯度计算次数减少了最多$ϵ(√m)$倍，而RapDual在块更新方面也实现了类似节省，尤其在条件数$L/\mu \geq m$时表现更优，其收敛速度和效率优于现有方法。

ABSTRACT

In this paper, we present new stochastic methods for solving two important classes of nonconvex optimization problems. We first introduce a randomized accelerated proximal gradient (RapGrad) method for solving a class of nonconvex optimization problems consisting of the sum of $m$ component functions, and show that it can significantly reduce the number of gradient computations especially when the condition number $L/μ$ (i.e., the ratio between the Lipschitz constant and negative curvature) is large. More specifically, RapGrad can save up to ${\cal O}(\sqrt{m})$ gradient computations than existing deterministic nonconvex accelerated gradient methods. Moreover, the number of gradient computations required by RapGrad can be ${\cal O}(m^\frac{1}{6} L^\frac{1}{2} / μ^\frac{1}{2})$ (at least ${\cal O}(m^\frac{2}{3})$) times smaller than the best-known randomized nonconvex gradient methods when $L/μ\ge m$. Inspired by RapGrad, we also develop a new randomized accelerated proximal dual (RapDual) method for solving a class of multi-block nonconvex optimization problems coupled with linear constraints. We demonstrate that RapDual can also save up to a factor of ${\cal O}(\sqrt{m})$ projection subproblems than its deterministic counterpart, where $m$ denotes the number of blocks. To the best of our knowledge, all these complexity results associated with RapGrad and RapDual seem to be new in the literature. We also illustrate potential advantages of these algorithms through our preliminary numerical experiments.

研究动机与目标

• 为解决大规模条件数$L/\mu$的非凸有限和与多块优化问题的高计算成本问题。
• 减少现有批量方法和非加速随机方法在梯度和块更新次数方面的需求。
• 开发新型随机加速算法，利用非凸问题的结构特性以提升收敛速率。
• 通过理论复杂度分析和初步数值实验，验证这些算法的有效性。
• 探索随机化在具有线性约束的非凸多块问题中加速收敛的潜力。

提出的方法

• 提出RapGrad，一种用于具有$m$个分量的非凸有限和问题的随机加速邻近梯度方法，结合随机梯度采样与动量加速。
• 采用邻近点重构方法，将非凸问题转化为一系列凸子问题，从而通过随机对偶方法高效求解。
• 提出RapDual，一种用于具有线性约束的多块非凸问题的随机加速原始-对偶算法，利用分块采样与对偶更新。
• 采用依赖于Lipschitz常数$L$和负曲率参数$\mu$的对偶步长规则，在弱凸性假设下确保收敛。
• 在子问题中引入内迭代的早期终止策略，降低计算成本，同时保持解的质量。
• 假设已知$\mu$或其紧上界，并以$m$、$L$和$\mu$为参数分析复杂度。

实验结果

研究问题

• RQ1 随机加速能否显著减少在大条件数下非凸有限和问题的梯度计算次数？
• RQ2 与现有非凸随机及加速方法相比，所提出的RapGrad方法在收敛速率上有何表现？
• RQ3 在具有线性约束的多块非凸优化中，随机化能否显著减少块更新次数？
• RQ4 在$m$和$L/\mu$方面，RapDual相比确定性批量方法的理论复杂度优势为何？
• RQ5 内迭代的早期终止如何影响算法的整体收敛性和计算成本？

主要发现

• 与批量非凸加速梯度方法相比，RapGrad将梯度计算次数减少了最多$ϵ(√m)$倍，尤其在$L/\mu$较大时效果显著。
• 当$L/\mu \geq m$时，RapGrad所需的梯度计算次数可比目前已知的最佳随机非凸梯度方法减少$ϵ(m^{1/6}L^{1/2}/\mu^{1/2})$倍。
• 与批量版本相比，RapDual在原始块更新次数上最多可节省$ϵ(√m)$倍。
• 数值实验表明，RapGrad和RapDual的随机版本在目标值和可行性方面均比其批量版本收敛更快。
• 在RapDual中，内迭代的早期终止显著减少了总块更新次数，同时保持了较低的约束违反度和良好的目标值。
• 在压缩感知和非凸稀疏恢复问题中，这些算法在收敛速度上优于ADMM及其他现有方法。