[论文解读] Improvements to the Levenberg-Marquardt algorithm for nonlinear least-squares minimization

Mark K. Transtrum, James P. Sethna|arXiv (Cornell University)|Jan 27, 2012

Statistical and numerical algorithms被引用 159

一句话总结

本文针对非线性最小二乘优化中的Levenberg-Marquardt算法提出了三项关键改进：通过测地线加速提升收敛速度，采用大胆接受策略允许上坡步长以逃离平坦区域，以及利用Broyden方法进行秩-1更新以减少雅可比矩阵的重新计算。这些改进显著提升了收敛速度与鲁棒性，在具有狭窄峡谷或平坦区域的高维难题上，雅可比矩阵评估次数最高减少了70倍，且成功率得到增强。

ABSTRACT

When minimizing a nonlinear least-squares function, the Levenberg-Marquardt algorithm can suffer from a slow convergence, particularly when it must navigate a narrow canyon en route to a best fit. On the other hand, when the least-squares function is very flat, the algorithm may easily become lost in parameter space. We introduce several improvements to the Levenberg-Marquardt algorithm in order to improve both its convergence speed and robustness to initial parameter guesses. We update the usual step to include a geodesic acceleration correction term, explore a systematic way of accepting uphill steps that may increase the residual sum of squares due to Umrigar and Nightingale, and employ the Broyden method to update the Jacobian matrix. We test these changes by comparing their performance on a number of test problems with standard implementations of the algorithm. We suggest that these two particular challenges, slow convergence and robustness to initial guesses, are complimentary problems. Schemes that improve convergence speed often make the algorithm less robust to the initial guess, and vice versa. We provide an open source implementation of our improvements that allow the user to adjust the algorithm parameters to suit particular needs.

研究动机与目标

• 解决非线性最小二乘优化中在狭窄参数空间峡谷区域收敛缓慢以及对初始参数猜测不佳时鲁棒性差的双重挑战。
• 克服标准Levenberg-Marquardt算法的局限性，如参数发散以及在平坦区域（目标函数对参数变化不敏感）收敛缓慢的问题。
• 通过减少昂贵的雅可比矩阵评估次数来提升算法效率，同时在复杂高维问题上保持或提高成功率。
• 提供一个系统化且可调节的框架，以平衡收敛速度与鲁棒性，尤其适用于参数众多的“松散模型”。
• 开发开源实现，以支持在各类数据拟合问题中的实际应用与参数调优。

提出的方法

• 在标准Levenberg-Marquardt步长中引入测地线加速校正项，通过考虑参数空间中的曲率来提升收敛性能。
• 采用Umrigar和Nightingale提出的大胆接受准则，允许受控的上坡步长，从而增加逃离局部平坦区或鞍点区域的可能性。
• 在每次接受的步长后，对雅可比矩阵应用Broyden的秩-1更新，避免完全重新计算，从而降低计算成本。
• 将上述三项改进——加速、大胆接受与Broyden更新——整合为单一增强型算法，实现全面的性能提升。
• 采用系统化的阻尼参数更新策略，在优化过程中动态平衡梯度下降与高斯-牛顿行为。
• 在一系列多样化基准问题上实现并测试该算法，测量收敛成功率、拟合质量以及每次收敛的雅可比矩阵评估次数。

实验结果

研究问题

• RQ1 测地线加速是否能显著减少非线性最小二乘问题收敛所需的雅可比矩阵评估次数？
• RQ2 通过Umrigar和Nightingale准则允许大胆（上坡）步长，是否能提升算法逃离平坦区域或避免参数发散的能力？
• RQ3 基于Broyden的雅可比矩阵秩-1更新在多大程度上提升了计算效率，同时不降低收敛的可靠性？
• RQ4 当三项改进组合使用时，它们之间的相互作用如何？是否以协同方式共同提升收敛速度与鲁棒性？
• RQ5 该增强算法是否能在广泛测试问题上超越标准Levenberg-Marquardt实现，特别是在高维与松散模型问题上？

主要发现

• 测地线加速在部分测试问题上将雅可比矩阵评估次数最高减少了70倍，多数改进幅度在2倍至10倍之间。
• 采用大胆接受策略后，困难问题的成功率得到提升，尤其在平坦或类似平台的区域，且未显著降低解的质量。
• 基于Broyden的秩-1更新减少了对完整雅可比矩阵重新计算的需求，提升了计算效率，但对初始猜测不佳的鲁棒性略有下降。
• 将测地线加速与大胆接受策略结合，可防止算法在上坡移动过程中“迷失”，在保持高成功率的同时显著加快收敛速度。
• 包含全部三项改进的完整算法在每次收敛的平均雅可比矩阵评估次数（NJEV）的倒数上达到最高值，在各类问题中均优于标准实现。
• 无单一算法在所有问题上全面占优，但该增强方法在多个指标上表现出一致的改进，尤其在高维与松散模型问题上优势显著。