[论文解读] Laplacian Smoothing Gradient Descent

Stanley Osher, Bao Wang+5 more|arXiv (Cornell University)|Jun 17, 2018

Stochastic Gradient Optimization Techniques参考文献 44被引用 29

一句话总结

本文提出拉普拉斯平滑梯度下降（LSGD），这是一种对标准梯度下降和随机梯度下降（SGD）的简单但有效的改进。通过将梯度与由一维离散拉普拉斯算子导出的循环矩阵的逆相乘，LSGD 降低了梯度方差，允许使用更大的步长，提升了泛化性能，并增强了收敛性——尤其在病态条件问题中表现更优——同时保持全局最小值，并使损失函数景观更加凸化。

ABSTRACT

We propose a class of very simple modifications of gradient descent and stochastic gradient descent. We show that when applied to a large variety of machine learning problems, ranging from logistic regression to deep neural nets, the proposed surrogates can dramatically reduce the variance, allow to take a larger step size, and improve the generalization accuracy. The methods only involve multiplying the usual (stochastic) gradient by the inverse of a positive definitive matrix (which can be computed efficiently by FFT) with a low condition number coming from a one-dimensional discrete Laplacian or its high order generalizations. It also preserves the mean and increases the smallest component and decreases the largest component. The theory of Hamilton-Jacobi partial differential equations demonstrates that the implicit version of the new algorithm is almost the same as doing gradient descent on a new function which (i) has the same global minima as the original function and (ii) is ``more convex". Moreover, we show that optimization algorithms with these surrogates converge uniformly in the discrete Sobolev $H_σ^p$ sense and reduce the optimality gap for convex optimization problems. The code is available at: \url{https://github.com/BaoWangMath/LaplacianSmoothing-GradientDescent}

研究动机与目标

• 解决标准SGD在训练早期之后收敛缓慢且方差高的问题。
• 通过允许使用更大且恒定的步长，突破SGD中学习率衰减的瓶颈。
• 在深度学习和逻辑回归模型中，改善泛化性能并缩小最优性差距。
• 缓解在条件数较高的Hessian矩阵下梯度下降性能不佳的问题。
• 开发一种方法，在保持全局最小值的同时，通过代理优化景观使损失函数更加凸化。

提出的方法

• 通过循环矩阵 Aσ 对随机梯度向量实时应用一维离散拉普拉斯平滑（LS）算子。
• 使用 Aσ⁻¹ = (I − σL)⁻¹ 的逆矩阵，其中 L 为离散拉普拉斯算子，利用FFT高效平滑梯度。
• 利用 Aσ⁻¹ 在傅里叶域中具有已知表示形式的特性，通过离散傅里叶变换实现快速计算。
• 将算法表述为修改后的梯度更新：θ_{k+1} = θ_k − α Aσ⁻¹ ∇f(θ_k; S_k)，其中 S_k 为一个 mini-batch。
• 将LS推广至更高阶平滑算子（如双调和平滑），以获得更优的平滑特性。
• 该方法的隐式版本与一个哈密顿-雅可比PDE相关联，表明优化过程发生在具有相同全局最小值的更凸的代理函数上。

实验结果

研究问题

• RQ1 是否能以极低的计算开销，在线实时降低SGD中的梯度方差？
• RQ2 是否能安全地在SGD中使用更大的步长，而不影响收敛性或泛化性能？
• RQ3 通过拉普拉斯算子平滑梯度，是否能提升在病态条件或非凸问题上的优化性能？
• RQ4 该方法是否能在保持全局最小值的同时使损失景观更加凸化？
• RQ5 与标准SGD和基于动量的方法相比，该方法在收敛速度和泛化准确率方面表现如何？

主要发现

• LSGD 在线实时降低了随机梯度的方差，使得在使用恒定步长时最优性差距显著减小。
• 该方法允许使用的步长比标准SGD更大，从而提升了收敛速度，尤其在训练后期表现更优。
• LSGD 在包括逻辑回归和深度神经网络在内的多种模型中均提升了泛化准确率。
• 该算法在离散Sobolev Hσp范数下实现一致收敛，且对凸优化问题具有理论保证。
• 实验结果表明，LSGD 避免了尖锐的局部最小值，并减少了陡峭方向上的振荡，从而实现了更稳定的训练动态。
• 理论分析表明，LSGD的隐式版本等价于在具有相同全局最小值的新函数上执行梯度下降。