[论文解读] Beyond Convexity: Stochastic Quasi-Convex Optimization

Elad Hazan, Kfir Y. Levy+1 more|arXiv (Cornell University)|Jul 8, 2015

Stochastic Gradient Optimization Techniques参考文献 11被引用 50

一句话总结

本文提出随机归一化梯度下降（SNGD）以优化局部拟凸和局部Lipschitz函数，将基于梯度的方法的应用范围从凸性扩展至更广泛的非凸问题。证明SNGD在$O(1/\epsilon^2)$次迭代内收敛至$\epsilon$-最优解，且收敛要求最小小批量大小，以防止因梯度爆炸或平坦区域导致的发散。

ABSTRACT

Stochastic convex optimization is a basic and well studied primitive in machine learning. It is well known that convex and Lipschitz functions can be minimized efficiently using Stochastic Gradient Descent (SGD). The Normalized Gradient Descent (NGD) algorithm, is an adaptation of Gradient Descent, which updates according to the direction of the gradients, rather than the gradients themselves. In this paper we analyze a stochastic version of NGD and prove its convergence to a global minimum for a wider class of functions: we require the functions to be quasi-convex and locally-Lipschitz. Quasi-convexity broadens the con- cept of unimodality to multidimensions and allows for certain types of saddle points, which are a known hurdle for first-order optimization methods such as gradient descent. Locally-Lipschitz functions are only required to be Lipschitz in a small region around the optimum. This assumption circumvents gradient explosion, which is another known hurdle for gradient descent variants. Interestingly, unlike the vanilla SGD algorithm, the stochastic normalized gradient descent algorithm provably requires a minimal minibatch size.

研究动机与目标

• 将随机优化方法从凸函数扩展至更广泛的非凸问题类别。
• 解决SGD在非凸设置下的局限性，特别是梯度爆炸与平坦区域问题。
• 基于局部拟凸和局部Lipschitz函数，形式化一种新的优化设置。
• 在上述条件下分析随机归一化梯度下降（SNGD）算法的收敛性。
• 建立SNGD收敛所需的最小小批量大小的理论下界。

提出的方法

• 提出归一化梯度下降（SNGD）的随机版本，其更新基于梯度方向而非大小。
• 引入局部拟凸性的概念，将单峰函数推广至允许某些鞍点和平台区域。
• 施加局部Lipschitz条件，允许远离最优解处的无界梯度，同时确保在最小值附近梯度有界。
• 使用小批量梯度估计并设定最小批量大小，以稳定更新并防止发散。
• 通过在离散格点上的马尔可夫链模型分析收敛性，证明吸收概率的上界。
• 采用常数步长$\eta = \epsilon / G$，其中$G$为梯度大小的上界。

实验结果

研究问题

• RQ1 随机梯度方法能否在凸性之外的非凸问题中实现可证明的有效性？
• RQ2 目标函数需满足何种条件，才能使归一化梯度下降在随机设置下实现收敛？
• RQ3 为何标准SGD在存在梯度平坦区域或爆炸时会失效，以及如何缓解此问题？
• RQ4 SNGD实现收敛所需的最小小批量大小是多少，为何该要求是必要的？
• RQ5 SNGD能否在更广泛的非凸函数类别中实现与凸问题下SGD相同的收敛速率？

主要发现

• 对于局部拟凸和局部Lipschitz函数，SNGD在$O(1/\epsilon^2)$次迭代内收敛至$\epsilon$-最优解。
• 该算法可证明地要求最小小批量大小；更小的批量可能导致因梯度估计不稳定而发散。
• 对于在最优解周围$\Omega(\sqrt{\epsilon})$区域内光滑的函数，SNGD可实现更快的$O(1/\epsilon)$收敛速率。
• 在给定设置下，当$\epsilon \leq 0.1$时，SNGD最终达到$\epsilon$-最优解的概率上界为$\left(\frac{1}{4}\right)^{9}$。
• 实验结果表明，SNGD在单隐藏层网络上的MNIST数据集上表现与Nesterov加速方法相当。
• 增大小批量大小可显著提升SNGD的收敛性能，支持理论中对更大批量的必要性。