[论文解读] An Alternative View: When Does SGD Escape Local Minima?

Robert Kleinberg, Yuanzhi Li+1 more|arXiv (Cornell University)|Feb 17, 2018

Stochastic Gradient Optimization Techniques参考文献 9被引用 42

一句话总结

本文将 SGD 视为在对损失函数进行卷积（平滑）后的版本上进行优化，证明若卷积后的函数相对于目标 x* 是一点强凸的，那么 SGD 将趋近并以常数概率停留在靠近 x* 的位置，从而解释了为何 SGD 能避免尖锐的局部极小值。

ABSTRACT

Stochastic gradient descent (SGD) is widely used in machine learning. Although being commonly viewed as a fast but not accurate version of gradient descent (GD), it always finds better solutions than GD for modern neural networks. In order to understand this phenomenon, we take an alternative view that SGD is working on the convolved (thus smoothed) version of the loss function. We show that, even if the function $f$ has many bad local minima or saddle points, as long as for every point $x$, the weighted average of the gradients of its neighborhoods is one point convex with respect to the desired solution $x^*$, SGD will get close to, and then stay around $x^*$ with constant probability. More specifically, SGD will not get stuck at "sharp" local minima with small diameters, as long as the neighborhoods of these regions contain enough gradient information. The neighborhood size is controlled by step size and gradient noise. Our result identifies a set of functions that SGD provably works, which is much larger than the set of convex functions. Empirically, we observe that the loss surface of neural networks enjoys nice one point convexity properties locally, therefore our theorem helps explain why SGD works so well for neural networks.

研究动机与目标

• 激发并形式化对 SGD 的另一种视角，即在卷积版本的损失函数上进行运算。
• 证明在卷积后的函数具有“一点凸性”的条件下，即使 f 存在许多不良局部极小值或鞍点，SGD 仍可收敛到一个较好的局部极小值。
• 识别在何种现实条件下，SGD 能够被证明保持在目标解附近并逃离尖锐极小值。

提出的方法

• 引入卷积损失 g_t(y)=E_{ω∈W(x)}[f(y−ηω)].
• 定义分析序列 y_t=x_t−η∇f(x_t)，并将 SGD 与对 g_t 的梯度下降联系起来。
• 给出假设1（主要假设）：相对于 x*，在与噪声卷积后，f 变为 c-one-point 强凸。
• 证明定理4：在合适的 η、r（噪声界）和 c 下，SGD 使 y_t 在未来一段时间内以常数概率保持在距离 x* 的 O(η r^2/c) 范围内。
• 给出推论2（学习率衰减）：使用分阶段学习率可提高局部收敛性。
• 给出经验性观察，局部损失面的确具有“一点凸性”性质，并解释步长的作用。

实验结果

研究问题

• RQ1 在梯度噪声的平滑作用下，哪些条件下 SGD 能够逃离尖锐的局部极小值？
• RQ2 卷积损失的一点凸性是否能保证 SGD 维持在目标解附近？对步长和噪声有哪些定量含义？
• RQ3 学习率调度如何与基于卷积的视角相互作用，影响收敛到良好局部极小值的过程？

主要发现

• SGD 在卷积（平滑）后的损失版本上进行优化，这可以消除尖锐的局部极小值。
• 如果卷积损失相对于 x* 是 c-one-point 强凸的，SGD 将收敛到 x* 并以常数概率保持在其附近。
• 存在可量化的界限，在一个时间窗口内，接近 x* 的距离为 O(η r^2/c)，前提是 η 足够小且噪声有界。
• 步长过大，即使原始函数具有一点凸性，也可能妨碍收敛，因为全梯度下降可能远离 x* 发散。
• 经验上，现代神经网络的损失景观表现出局部的一点凸性，支持所提出的理论。