[论文解读] A survey of deep learning optimizers -- first and second order methods

Rohan V Kashyap|arXiv (Cornell University)|Nov 28, 2022

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本综述对14种一阶和二阶深度学习优化器进行了全面的理论分析，评估了其在非凸、高维损失函数上的收敛性、计算复杂度及性能表现。研究指出，过参数化模型可降低陷入不良局部极小值的风险；尽管二阶方法具有更优的收敛性，但其O(N³)的海森矩阵计算成本限制了其在小型网络中的实际应用。

ABSTRACT

Deep Learning optimization involves minimizing a high-dimensional loss function in the weight space which is often perceived as difficult due to its inherent difficulties such as saddle points, local minima, ill-conditioning of the Hessian and limited compute resources. In this paper, we provide a comprehensive review of $14$ standard optimization methods successfully used in deep learning research and a theoretical assessment of the difficulties in numerical optimization from the optimization literature.

研究动机与目标

• 提供对深度学习中广泛使用的14种一阶和二阶优化方法的系统性理论综述。
• 分析高维、非凸优化的挑战，包括鞍点、病态条件的海森矩阵以及局部极小值问题。
• 评估优化算法在计算效率与收敛性能之间的权衡。
• 评估牛顿-CG和Adahessian等二阶方法在深度学习设置中的理论保证与实际限制。
• 阐明正则化与权重初始化在缓解过拟合并提升泛化能力方面的作用，即使在高容量模型下亦能实现。

提出的方法

• 论文基于数值优化中的标准定义（包括梯度、海森矩阵及曲率信息）对优化方法进行理论评估。
• 基于自适应学习率、动量及使用一阶梯度信息的参数更新，评估一阶方法（如SGD、Adam、AdamW）。
• 通过海森矩阵-向量乘积与无海森矩阵近似方法分析二阶方法（如Newton-CG和Adahessian），以避免显式计算海森矩阵。
• 通过有限差分法近似海森矩阵：∇²fₖd ≈ [∇f(xₖ + hd) − ∇f(xₖ)] / h，从而实现无海森矩阵优化。
• 将Lookahead建模为双权重机制：快速权重通过内层优化器（如SGD、Adam）更新，慢速权重通过指数移动平均更新。
• 通过阻尼参数λ在B = H + λI中应用信赖域技术，以稳定牛顿步长并避免负曲率问题。

实验结果

研究问题

• RQ1 在一阶优化器如Adam与SGD在高维、非凸损失函数下，其收敛速度与泛化能力如何比较？
• RQ2 牛顿-CG与Adahessian等二阶方法在深度学习中的理论收敛性质与计算成本如何？
• RQ3 为何过参数化的深度网络即使在损失函数非凸的情况下也能避免不良局部极小值？
• RQ4 Lookahead优化器如何通过双权重动力学提升收敛稳定性和泛化能力？
• RQ5 当高容量模型可能记忆训练数据时，正则化在防止过拟合中起到何种作用？

主要发现

• 过参数化的深度网络表现出较低的不良局部极小值概率，高成本临界点主要为鞍点。
• 牛顿-CG等二阶方法可实现超线性收敛，但其海森矩阵计算需O(N³)时间，限制其仅适用于小型模型。
• 无海森矩阵方法（如牛顿-CG）通过有限差分近似计算海森矩阵-向量乘积，无需显式存储海森矩阵。
• 在海森矩阵近似中引入阻尼（λI）可稳定牛顿步长，防止在低曲率或负曲率区域产生过大且无效的更新。
• Lookahead通过结合快速自适应更新与慢速平均权重，减少振荡并提升泛化能力，从而改善收敛性。
• 实证结果表明，Adam、AdamW与Adahessian在图像分类与自然语言处理任务中均优于标准SGD，训练速度更快且最终准确率更高，但缺乏理论收敛保证。