[论文解读] Accelerated Gradient Methods for Nonconvex Nonlinear and Stochastic Programming

Saeed Ghadimi, Guanghui Lan|arXiv (Cornell University)|Oct 14, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用 6

一句话总结

本文将Nesterov的加速梯度（AG）方法推广至非凸和随机优化问题，证明在采用合适的步长策略时，AG方法在平滑非凸问题上实现了已知最佳收敛速率——与梯度下降速率一致。此外，本文建立了复合非凸问题的统一收敛性，并提出一种随机化的随机AG方法，进一步改进了非凸随机规划中的现有收敛速率。

ABSTRACT

In this paper, we generalize the well-known Nesterov's accelerated gradient (AG) method, originally designed for convex smooth optimization, to solve nonconvex and possibly stochastic optimization problems. We demonstrate that by properly specifying the stepsize policy, the AG method exhibits the best known rate of convergence for solving general nonconvex smooth optimization problems by using first-order information, similarly to the gradient descent method. We then consider an important class of composite optimization problems and show that the AG method can solve them uniformly, i.e., by using the same aggressive stepsize policy as in the convex case, even if the problem turns out to be nonconvex. We demonstrate that the AG method exhibits an optimal rate of convergence if the composite problem is convex, and improves the best known rate of convergence if the problem is nonconvex. Based on the AG method, we also present new nonconvex stochastic approximation methods and show that they can improve a few existing rates of convergence for nonconvex stochastic optimization. To the best of our knowledge, this is the first time that the convergence of the AG method has been established for solving nonconvex nonlinear programming in the literature.

研究动机与目标

• 将Nesterov的加速梯度方法从凸优化推广至非凸和随机设置。
• 通过适当的步长策略，建立使用AG方法求解平滑非凸优化问题的收敛性与收敛速率。
• 采用相同的激进步长策略，统一处理含光滑与非光滑分量的复合优化问题，无论其为凸或非凸。
• 提出一种随机化的随机AG方法，改进非凸随机规划中现有方法的收敛速率。
• 解决AG方法在非凸设置下缺乏理论收敛保证的问题，该问题此前为开放性问题。

提出的方法

• 提出一种改进的AG方法，采用专为非凸平滑问题设计的步长策略，确保收敛至驻点。
• 引入一种适用于非凸和随机设置的多步加速方案，利用类似动量的更新机制。
• 采用随机预言机（SO）模型，通过带噪声的评估访问函数值与梯度，样本量由依赖于迭代次数的规则控制。
• 基于SO调用次数推导复杂度界，利用概率分析与马尔可夫不等式，界定梯度范数的期望。
• 设计一种两阶段方法，以改善随机设置中对置信度水平Λ的依赖性，增强解的鲁棒性。
• 对复合问题采用统一的步长策略（含光滑与非光滑分量），在不依赖凸性的情况下保持收敛性。

实验结果

研究问题

• RQ1 加速梯度方法能否在保持收敛性与最优收敛速率的前提下，推广至非凸平滑优化问题？
• RQ2 当应用于非凸复合优化问题时，AG方法是否仍保持其收敛性质与速率改进？
• RQ3 AG方法的随机变体能否在非凸随机规划中实现优于现有方法的收敛速率？
• RQ4 是否可能通过单一激进步长策略，在同一AG框架下统一分析凸与非凸问题？
• RQ5 在非凸随机优化中，为寻找ε-驻点，基于随机预言机调用次数的最优复杂度界是什么？

主要发现

• AG方法在平滑非凸优化中寻找ε-驻点的迭代复杂度为O(1/ε^{1/3})，与梯度下降的最优已知速率一致。
• 对于复合非凸问题，AG方法在即使问题为非凸的情况下，也优于现有方法的最优已知收敛速率。
• 当复合问题为凸时，该方法表现出最优收敛速率，并在与凸情况相同的激进步长策略下保持收敛。
• 随机化的随机AG方法在寻找ε-驻点时，总随机预言机调用次数被限制在O((L_Ψ²(‖x₀−x*‖²+D̃²)/ε)^{1/3} + (L_f L_Ψ(M²+‖x*‖²+D̃²)/ε) + (L_Ψ^{1/2}(‖x₀−x*‖²+D̃²)σ³/(L_f^{3/2}D̃³ε))^{2/3} + (L_f L_Ψ(M²+‖x*‖²+D̃²)²σ²/(D̃²ε²)))以内。
• 当L_f = 0（即平滑凸随机问题）时，该复杂度界为最优，与文献中已知最优界一致。