[论文解读] Local convergence analysis of Gauss-Newton's method under majorant condition

Ferreira, O. P., Goncalves, M. L. N.+1 more|arXiv (Cornell University)|Mar 25, 2010

Iterative Methods for Nonlinear Equations参考文献 18被引用 5

一句话总结

本文在主要条件（majorant condition）下，对非线性最小二乘问题的高斯-牛顿法进行了局部收敛性分析，该条件推广并统一了以往的结果。通过用主要函数替代导数的经典利普希茨条件，作者推导出最优收敛半径和最大的唯一性区域，提供了比以往方法更精确、更系统化的收敛框架，证明过程更简洁，适用范围更广。

ABSTRACT

The Gauss-Newton's method for solving nonlinear least squares problems is studied in this paper. Under the hypothesis that the derivative of the function associated with the least square problem satisfies a majorant condition, a local convergence analysis is presented. This analysis allow us to obtain the optimal convergence radius, the biggest range for the uniqueness of solution, and to unify two previous and unrelated results.

研究动机与目标

• 为非线性最小二乘问题中的高斯-牛顿法提供更精细的局部收敛性分析。
• 用主要条件替代导数的古典利普希茨条件，以实现更广泛的应用范围和更紧的收敛估计。
• 在单一理论框架下统一高斯-牛顿法的两个此前互不相关的收敛结果。
• 在主要条件约束下，推导出解的最优收敛半径和最大可能的唯一性区域。
• 简化收敛性证明，提升主要函数与问题非线性结构之间关系的清晰度。

提出的方法

• 分析基于柯尔莫哥洛夫（Kantorovich）提出的主要条件，该条件放松了对函数 F 导数的标准利普希茨连续性假设。
• 使用主要函数 φ 控制 F′ 的行为，其中 φ 满足特定的凸性与可微性条件。
• 利用巴拿赫引理和矩阵扰动理论推导关键不等式，以确保高斯-牛顿步长矩阵的可逆性。
• 通过求解涉及主要函数及其导数的标量方程，确定收敛半径。
• 该方法通过凸函数性质与主要条件相关估计，确定最优收敛球，并证明该球内解的唯一性。
• 对于解析函数，通过将主要函数与 F′′ 的泰勒展开相关联，并利用积分界推导出应用结果。

实验结果

研究问题

• RQ1 在主要条件约束下，高斯-牛顿法的最优收敛半径是多少？与基于经典利普希茨条件的收敛半径相比有何不同？
• RQ2 如何利用主要条件统一高斯-牛顿法的两个此前互不相关的收敛结果？
• RQ3 在主要条件约束下，解周围最大的收敛唯一性球是多大？
• RQ4 与经典利普希茨条件相比，主要条件在简化性和通用性方面如何改进收敛性分析？
• RQ5 主要条件能否有效应用于解析的非线性最小二乘问题，以推导出显式的收敛边界？

主要发现

• 在主要条件约束下，高斯-牛顿法的最优收敛半径为 r = min{κ, ρ}，其中 ρ = (a − √(a² − b))/(2γ(1 + β))，且 a 与 b 以 β 和 γ 表示。
• 解的最大唯一性区域为 B(x*, 1/(γ(1 + β)))，当满足半径条件时，该区域被证明是紧的（sharp）。
• 对于解析函数，收敛半径显式地有界为 r = min{κ, (2 + 3β − √(β(8 + 9β)))/(2γ(1 + β))}，在给定假设下为最优。
• 该方法实现了二次收敛，误差界为 ‖xₖ₊₁ − x*‖ ≤ [βγ / ((1 − γ‖x₀ − x*‖)² − βγ(2‖x₀ − x*‖ − γ‖x₀ − x*‖²))]‖xₖ − x*‖²。
• 主要条件统一了高斯-牛顿法的两个此前互不相关的收敛结果，提供了一个可涵盖两者的单一理论框架。
• 当 F(x*) = 0 且 F′(x*) 满秩时，收敛半径由 β、γ 和定义域半径 κ 显式确定，当 (2 + 3β − √(β(8 + 9β)))/(2γ(1 + β)) < κ 时，该半径为最优。