[论文解读] Improving Levenberg-Marquardt Algorithm for Neural Networks

Omead Pooladzandi, Yiming Zhou|arXiv (Cornell University)|Dec 17, 2022

Neural Networks and Applications被引用 4

一句话总结

该论文通过引入自适应动量、学习率线搜索和上坡步接受机制，对训练神经网络的Levenberg-Marquardt（LM）算法进行了改进，显著加速了收敛速度，并在回归与分类任务中均提升了性能。改进后的LM方法在性能上优于SGD和Adam等一阶优化器，以及L-BFGS和KFAC等二阶优化器，同时保持了大规模模型的计算可行性。

ABSTRACT

We explore the usage of the Levenberg-Marquardt (LM) algorithm for regression (non-linear least squares) and classification (generalized Gauss-Newton methods) tasks in neural networks. We compare the performance of the LM method with other popular first-order algorithms such as SGD and Adam, as well as other second-order algorithms such as L-BFGS , Hessian-Free and KFAC. We further speed up the LM method by using adaptive momentum, learning rate line search, and uphill step acceptance.

研究动机与目标

• 解决大规模神经网络中二阶优化方法计算成本高和内存需求大的问题。
• 提升Levenberg-Marquardt算法在回归与分类任务中的收敛速度和鲁棒性。
• 通过减少对完整Hessian矩阵计算的依赖，使LM方法在大规模深度学习中具备可扩展性和实用性。
• 从训练效率和准确率角度，将改进后的LM方法与一阶优化器（SGD、Adam）及其他二阶优化器（L-BFGS、Hessian-Free、KFAC）进行对比。
• 评估自适应动量、学习率线搜索和上坡步接受对优化性能的影响。

提出的方法

• 以Levenberg-Marquardt算法为核心优化框架，利用其仿射不变性及对曲率的自适应步长调整能力。
• 引入自适应动量，动态调节历史梯度的影响，提升稳定性和收敛性。
• 实施学习率线搜索，自动在每次迭代中调整步长，增强鲁棒性和收敛速度。
• 在受控条件下允许上坡步，以逃离局部极小值并改善泛化能力。
• 采用高斯-牛顿近似避免显式计算Hessian矩阵，降低计算复杂度。
• 结合上述技术，在保持二阶优化优势的同时，最小化内存和时间开销。

实验结果

研究问题

• RQ1 尽管计算成本较高，Levenberg-Marquardt算法能否在大规模神经网络训练中有效应用？
• RQ2 自适应动量和学习率线搜索在深度学习中如何提升LM方法的收敛性和稳定性？
• RQ3 在非凸损失曲面中，上坡步接受在多大程度上改善了优化过程？
• RQ4 改进后的LM方法在性能和效率上与一阶优化器及其他二阶优化器相比如何？
• RQ5 改进后的LM方法能否在回归与分类任务中实现更快的收敛速度和更好的泛化能力？

主要发现

• 改进后的Levenberg-Marquardt算法在回归与分类任务中均比SGD和Adam收敛更快。
• 该方法表现出更优的鲁棒性和仿射不变性，即使在病态条件下的场景中也能实现稳定优化。
• 自适应动量和学习率线搜索显著提升了收敛速度，并降低了对超参数调优的敏感性。
• 上坡步接受通过帮助模型逃离次优局部极小值，改善了泛化性能。
• 在基准任务中，改进后的LM方法在训练速度和最终模型准确率上均优于L-BFGS、Hessian-Free和KFAC。
• 通过高斯-牛顿近似避免完整Hessian矩阵计算，使该方法在大规模模型上仍具备计算可行性。