[论文解读] Geodesic acceleration and the small-curvature approximation for nonlinear least squares

Mark K. Transtrum, James P. Sethna|arXiv (Cornell University)|Jul 20, 2012

Geophysics and Gravity Measurements参考文献 1被引用 3

一句话总结

本文提出测地加速作为非线性最小二乘问题中Levenberg-Marquardt算法的二阶校正，通过将小残差近似扩展至三次方阶推导得出，无需微分几何。该方法在保持全局收敛性的同时，显著加速了狭窄、曲折参数空间中的收敛速度——尤其当模型的外曲率较小时——在计算开销极低的情况下实现了显著的速度提升。

ABSTRACT

It has been shown numerically that the performance of the Levenberg-Marquardt algorithm can be improved by including a second order correction known as the geodesic acceleration. In this paper we give the method a more sound theoretical foundation by deriving the geodesic acceleration correction without using differential geometry and showing that the traditional convergence proofs can be adapted to incorporate geodesic acceleration. Unlike other methods which include second derivative information, the geodesic acceleration does not attempt to improve the Gauss-Newton approximate Hessian, but rather is an extension of the small-residual approximation to cubic order. In deriving geodesic acceleration, we note that the small-residual approximation is complemented by a small-curvature approximation. This latter approximation provides a much broader justification for the Gauss-Newton approximate Hessian and Levenberg-Marquardt algorithm. In particular, it is justifiable even if the best fit residuals are large, is dependent only on the model and not on the data being fit, and is applicable for the entire course of the algorithm and not just the region near the minimum.

研究动机与目标

• 为非线性最小二乘优化提供一种几何无关的测地加速推导。
• 通过将其与小曲率近似关联，建立测地加速的理论依据，该近似比小残差近似更具普适性。
• 证明将测地加速引入Levenberg-Marquardt算法不会破坏其全局收敛性。
• 展示测地加速在高维数据拟合问题中常见的狭窄、曲折参数空间中可显著提升收敛速度。
• 将测地加速定位为Hessian改进方法的互补策略，聚焦于高阶校正而非Hessian估计。

提出的方法

• 通过将代价函数进行至三次方阶的泰勒展开推导测地加速，避免使用微分几何时直接基于残差及其导数进行运算。
• 识别Hessian中被忽略的二阶项与模型流形的外曲率成正比，从而将其与小曲率近似关联。
• 证明小曲率近似不仅在极小值附近成立，且在整个优化路径上均有效，独立于残差大小。
• 将测地加速校正形式化为参数更新中的三次项，其来源于残差的二阶导数与雅可比矩阵。
• 通过在更新步骤中引入曲率感知的校正项，将校正整合进Levenberg-Marquardt算法。
• 证明引入测地加速不会损害Levenberg-Marquardt的全局收敛性，通过将标准收敛证明适配至修改后的更新规则。

实验结果

研究问题

• RQ1 能否不依赖微分几何时推导出测地加速，从而为其在优化中的应用提供更易理解的基础？
• RQ2 小曲率近似与小残差近似相比，在整个优化路径上的有效性与适用性如何？
• RQ3 引入测地加速是否会破坏Levenberg-Marquardt算法的全局收敛性？
• RQ4 在何种参数空间条件下，测地加速相较于标准Levenberg-Marquardt能提供最大的性能提升？
• RQ5 能否以极低的计算成本实现测地加速，同时在高维、狭窄峡谷型优化问题中仍获得显著的速度提升？

主要发现

• 测地加速被推导为小残差近似的三次方扩展，无需完整计算Hessian即可提供更精确的Hessian估计。
• 小曲率近似——用于解释Gauss-Newton Hessian估计——的有效范围比小残差近似更广，涵盖远离极小值的区域。
• 只要模型的外曲率较小，即使残差较大，该校正也依然有效，使其适用于更广泛的问题类别。
• 测地加速校正可几乎无额外计算成本地集成进Levenberg-Marquardt算法，且不破坏其全局收敛性。
• 先前工作的数值证据表明，测地加速显著减少了在高维、峡谷型优化景观中所需的函数与雅可比矩阵评估次数。
• 该方法在标准Levenberg-Marquardt算法难以收敛的狭窄、曲折参数空间中尤为有效，因其能够沿代价函数的曲率路径进行追踪。