[论文解读] Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees

Nachuan Xiao, Xiaoyin Hu+2 more|arXiv (Cornell University)|May 6, 2023

Neural Networks and Applications被引用 7

一句话总结

本文提出了一种针对Adam族方法的新型双时间尺度框架，在温和假设下，确保在非光滑、非凸优化中收敛至Clarke驻点。通过引入梯度裁剪和自适应步长，该框架即使在可积（重尾）噪声下也能保证收敛，首次为训练非光滑神经网络的Adam族方法提供了理论保证。

ABSTRACT

In this paper, we present a comprehensive study on the convergence properties of Adam-family methods for nonsmooth optimization, especially in the training of nonsmooth neural networks. We introduce a novel two-timescale framework that adopts a two-timescale updating scheme, and prove its convergence properties under mild assumptions. Our proposed framework encompasses various popular Adam-family methods, providing convergence guarantees for these methods in training nonsmooth neural networks. Furthermore, we develop stochastic subgradient methods that incorporate gradient clipping techniques for training nonsmooth neural networks with heavy-tailed noise. Through our framework, we show that our proposed methods converge even when the evaluation noises are only assumed to be integrable. Extensive numerical experiments demonstrate the high efficiency and robustness of our proposed methods.

研究动机与目标

• 解决在使用ReLU及其他不可微激活函数训练非光滑神经网络时，Adam族方法缺乏理论收敛保证的问题。
• 克服在深度学习中常见的非Clarke正则非光滑函数中分析随机次梯度的挑战。
• 在最小假设下提供收敛性分析，包括在实际应用中常见的可积（重尾）评估噪声。
• 构建一个统一框架，涵盖主流Adam变体（Adam、AdaBelief、AMSGrad、NAdam、Yogi），并将其扩展至非光滑设置。
• 在弱噪声假设下，为随机次梯度方法中的梯度裁剪提供理论基础，确保鲁棒性与收敛性。

提出的方法

• 提出一种双时间尺度框架（AFM），通过为变量更新与噪声估计分别使用不同的步长，实现两者的解耦。
• 以保守场与Clarke次微分的意义定义收敛性，从而能够分析不可微、局部Lipschitz函数。
• 证明在温和假设下，AFM生成的迭代序列的任意聚点均为目标函数的Clarke驻点。
• 证明采用递减步长的Adam、AdaBelief、AMSGrad、NAdam与Yogi均符合AFM框架，从而继承其在非光滑设置下的收敛保证。
• 在随机次梯度方法中引入梯度裁剪技术，以处理可积（非平方可 summable）噪声，确保在弱矩条件下的收敛性。
• 通过将方法嵌入AFM框架，建立剪裁后随机次梯度方法的理论收敛性，即使在噪声为重尾时亦成立。

实验结果

研究问题

• RQ1 当应用于ReLU神经网络等非光滑、非凸优化问题时，能否理论保证Adam族方法的收敛性？
• RQ2 现有Adam族方法的收敛结果是否可推广至目标函数不可微且非Clarke正则的情形？
• RQ3 当评估噪声仅为可积（即重尾）而非平方可求和时，能否在随机次梯度方法中理论化地证明梯度裁剪的合理性？
• RQ4 是否可能设计一个统一框架，捕捉多种Adam族方法的行为，并确保在非光滑设置下的收敛性？
• RQ5 所提出的框架能否避免因自动微分在非光滑神经网络中引入的虚假驻点，对几乎所有初始点和步长选择均成立？

主要发现

• 所提出的双时间尺度框架（AFM）在温和假设下，确保对非光滑、局部Lipschitz、非凸函数收敛至Clarke驻点。
• 证明采用递减步长的Adam、AdaBelief、AMSGrad、NAdam与Yogi均符合AFM框架，因此在非光滑设置下继承收敛保证。
• 该框架即使在目标函数非全局Lipschitz或非Clarke正则时，也能保证几乎必然收敛至驻点。
• 在AFM框架下，可严格证明梯度裁剪技术在随机次梯度方法中的合理性，确保在评估噪声仅为可积时的收敛性。
• 数值实验表明，所提出的Adam族方法在效率上与标准实现（如PyTorch中的实现）相当，同时保持理论收敛保证。
• 该框架几乎对所有初始点和步长选择均避免了由自动微分引入的虚假驻点，显著提升了实际可靠性。