[论文解读] Convergence of a Stochastic Gradient Method with Momentum for Nonsmooth Nonconvex Optimization

V. Vien, Mikael Johansson|arXiv (Cornell University)|Feb 13, 2020

Stochastic Gradient Optimization Techniques参考文献 51被引用 7

一句话总结

本文建立了带有Polyak动量的随机次梯度方法在非光滑、非凸及约束优化问题中的收敛速率。通过引入一种新颖的李雅普诺夫函数，该方法在无需调节动量参数的情况下实现了收敛复杂度，将已知的复杂度边界扩展至约束和弱光滑设置。

ABSTRACT

Stochastic gradient methods with momentum are widely used in applications and at the core of optimization subroutines in many popular machine learning libraries. However, their sample complexities have not been obtained for problems beyond those that are convex or smooth. This paper establishes the convergence rate of a stochastic subgradient method with a momentum term of Polyak type for a broad class of non-smooth, non-convex, and constrained optimization problems. Our key innovation is the construction of a special Lyapunov function for which the proven complexity can be achieved without any tuning of the momentum parameter. For smooth problems, we extend the known complexity bound to the constrained case and demonstrate how the unconstrained case can be analyzed under weaker assumptions than the state-of-the-art. Numerical results confirm our theoretical developments.

研究动机与目标

• 解决在非光滑、非凸及约束问题中，带有动量的随机梯度方法缺乏样本复杂度分析的问题。
• 开发一种无需调节动量参数的收敛性分析框架。
• 将现有平滑问题的复杂度边界扩展至约束情形。
• 在弱于当前最先进水平的假设下，分析无约束情形下的问题。

提出的方法

• 作者提出了一种专为带有Polyak动量的随机次梯度方法的动力学特性量身定制的李雅普诺夫函数。
• 该李雅普诺夫函数被构造为捕捉在非光滑性和非凸性条件下迭代点的下降行为。
• 分析利用动量项的结构来控制振荡并确保收敛。
• 通过证明李雅普诺夫函数在迭代过程中单调递减，从而建立收敛性，并导出复杂度边界。
• 该方法适用于一大类约束、非光滑及非凸优化问题。
• 该方法通过设计避免对动量参数的依赖，从而在各类问题实例中保持鲁棒性。

实验结果

研究问题

• RQ1 对于非光滑、非凸及约束问题，带有Polyak动量的随机次梯度方法的收敛速率是什么？
• RQ2 基于动量的方法是否能在不需调节动量参数的情况下实现收敛复杂度？
• RQ3 所提出的方法如何将现有平滑问题的复杂度边界扩展至约束情形？
• RQ4 在何种更弱的假设下，可以对无约束情形进行更具普遍性的分析？

主要发现

• 所提出的方法在无需调节动量参数的情况下，实现了对非光滑、非凸及约束问题的收敛复杂度。
• 收敛速率通过一种新颖的李雅普诺夫函数得以建立，该函数能够捕捉在非光滑和非凸条件下的下降行为。
• 对于平滑问题，该分析将已知的复杂度边界扩展至约束设置。
• 无约束情形下的分析基于弱于当前最先进水平的假设。
• 数值结果验证了理论发现，确认了该方法的鲁棒性和有效性。
• 该方法提供了一个统一框架，能够在单一收敛性分析中同时处理平滑与非光滑问题。