[论文解读] Improved Analysis of Clipping Algorithms for Non-convex Optimization

Bohang Zhang, Jikai Jin+2 more|arXiv (Cornell University)|Jan 1, 2020

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文提出了一种分析非凸优化中梯度裁剪的一般性框架，结合动量方法，并在$(L_0, L_1)$-光滑性假设下建立了更紧致的收敛保证。结果表明，基于裁剪的方法即使在高度非光滑区域也能保持高效性，理论结果与已知的下界一致，并在深度学习任务中得到了实验验证。

ABSTRACT

Gradient clipping is commonly used in training deep neural networks partly due to its practicability in relieving the exploding gradient problem. Recently, \citet{zhang2019gradient} show that clipped (stochastic) Gradient Descent (GD) converges faster than vanilla GD/SGD via introducing a new assumption called $(L_0, L_1)$-smoothness, which characterizes the violent fluctuation of gradients typically encountered in deep neural networks. However, their iteration complexities on the problem-dependent parameters are rather pessimistic, and theoretical justification of clipping combined with other crucial techniques, e.g. momentum acceleration, are still lacking. In this paper, we bridge the gap by presenting a general framework to study the clipping algorithms, which also takes momentum methods into consideration. We provide convergence analysis of the framework in both deterministic and stochastic setting, and demonstrate the tightness of our results by comparing them with existing lower bounds. Our results imply that the efficiency of clipping methods will not degenerate even in highly non-smooth regions of the landscape. Experiments confirm the superiority of clipping-based methods in deep learning tasks.

研究动机与目标

• 为解决先前对裁剪梯度下降收敛性分析的局限性，其迭代复杂度估计过于悲观。
• 提供一个统一的理论框架，将动量加速机制整合到非凸优化的梯度裁剪中。
• 在$(L_0, L_1)$-光滑性假设下，为裁剪方法建立紧致的收敛边界，与现有下界一致。
• 从理论上证明在深度学习中结合使用裁剪与动量的合理性，因为梯度常表现出剧烈波动。

提出的方法

• 提出一个通用的算法框架，统一处理确定性和随机设置下的裁剪梯度下降与动量方法。
• 在$(L_0, L_1)$-光滑性假设下提出一种新颖的收敛性分析，该假设能有效刻画深度神经网络梯度的非光滑性。
• 推导出与非凸优化中已知理论下界一致的迭代复杂度边界，表明其紧致性。
• 分析了裁剪动量算法的确定性和随机变体，确保其适用于小批量训练。
• 使用与问题相关的参数来刻画收敛速率，优于以往过于悲观的边界估计。
• 通过在深度学习任务上的实验验证理论发现，确认了基于裁剪方法在实际中的优越性。

实验结果

研究问题

• RQ1 在非凸优化中，动量的引入如何影响裁剪梯度下降的收敛特性？
• RQ2 在$(L_0, L_1)$-光滑性假设下，裁剪梯度下降的收敛保证能否进一步收紧？
• RQ3 在损失函数景观中高度非光滑的区域，梯度裁剪是否仍能保持高效性，如在深度神经网络中常观察到的那样？
• RQ4 裁剪方法的理论迭代复杂度与非凸优化中的已知下界相比如何？
• RQ5 在深度学习训练中，将梯度裁剪与动量结合的理论依据是什么？

主要发现

• 所提出的框架实现的收敛速率与现有下界一致，表明分析具有理论上的紧致性。
• 基于裁剪的方法即使在损失函数景观的高度非光滑区域也能保持高效性，与可能存在的性能下降担忧相反。
• 将动量与梯度裁剪结合可改善收敛行为，且不损害理论保证。
• 推导出的迭代复杂度边界显著优于先前工作，解决了以往过于悲观的估计问题。
• 实验结果证实了在深度学习任务中，基于裁剪的方法具有优越性，支持了理论发现。
• 该分析为理解裁剪在实际深度学习训练中成功的原因提供了统一的理论基础。