[論文レビュー] Local convergence analysis of Gauss-Newton's method under majorant condition

Ferreira, O. P., Goncalves, M. L. N.+1 more|arXiv (Cornell University)|Mar 25, 2010

Iterative Methods for Nonlinear Equations参考文献 18被引用数 5

ひとこと要約

本稿では、非線形最小二乗問題に対するガウス・ニュートン法の局所的収束解析を、マジョライズ条件の下で提示している。この条件は、従来の結果を一般化・統一するものである。微分の古典的リプシッツ条件の代わりにマジョライズ関数を用いることで、最適な収束半径と最大の一意性領域を導出し、従来の手法よりも鋭く、よりシステマティックで、証明が単純かつ適用範囲が広い収束枠組みを提供している。

ABSTRACT

The Gauss-Newton's method for solving nonlinear least squares problems is studied in this paper. Under the hypothesis that the derivative of the function associated with the least square problem satisfies a majorant condition, a local convergence analysis is presented. This analysis allow us to obtain the optimal convergence radius, the biggest range for the uniqueness of solution, and to unify two previous and unrelated results.

研究の動機と目的

• 非線形最小二乗問題におけるガウス・ニュートン法の洗練された局所的収束解析を提供すること。
• 微分に関する古典的リプシッツ条件の代わりにマジョライズ条件を導入することで、より広範な適用可能性とより鋭い収束推定を可能にすること。
• ガウス・ニュートン法の二つのこれまで独立であった収束結果を、一つの理論的枠組みで統一すること。
• マジョライズ条件の下で、解のための最適な収束半径と最大の可能な一意性領域を導出すること。
• 収束証明を単純化し、マジョライズ関数と問題の非線形構造との関係の明確化を図ること。

提案手法

• 本分析は、カンタロビッチが導入したマジョライズ条件に基づくもので、関数 F の微分に対する標準的なリプシッツ連続性の仮定を緩和する。
• マジョライズ関数 φ は F′ の振る舞いを制御し、φ は特定の凸性および微分可能性条件を満たす。
• バナッハの補題および行列摂動論を用いて、ガウス・ニュートンステップ行列の逆行列存在を保証する重要な不等式を導出する。
• 収束半径は、マジョライズ関数とその微分を含むスカラー方程式を解くことで決定される。
• 最適な収束球が確立され、凸関数の性質とマジョライズに基づく推定を用いて、その球内での解の一意性が証明される。
• 解析関数への応用は、F′′ のテイラー展開と積分評価を用いてマジョライズ関数と関連づけることで得られる。

実験結果

リサーチクエスチョン

• RQ1 マジョライズ条件の下で、ガウス・ニュートン法の最適な収束半径は何か？ また、古典的リプシッツに基づく半径と比べてどう異なるか？
• RQ2 マジョライズ条件を用いることで、ガウス・ニュートン法の二つのこれまで独立であった収束結果をどのように統一できるか？
• RQ3 マジョライズ条件の下で、解の周囲でガウス・ニュートン反復が一意に収束する最大の球は何か？
• RQ4 マジョライズ条件は、古典的リプシッツ条件と比較して、収束解析の単純さと一般性の面でどのように改善されるか？
• RQ5 マジョライズ条件は、解析的非線形最小二乗問題に効果的に適用可能であり、明示的な収束境界を導出できるか？

主な発見

• マジョライズ条件の下でのガウス・ニュートン法の最適な収束半径は、r = min{κ, ρ} で与えられ、ここで ρ = (a − √(a² − b))/(2γ(1 + β)) であり、a と b は β と γ を用いて定義される。
• 解の最大の一意性領域は B(x*, 1/(γ(1 + β))) であり、半径条件を満たすとき、これが鋭いものであることが示されている。
• 解析関数の場合、収束半径は明示的に r = min{κ, (2 + 3β − √(β(8 + 9β)))/(2γ(1 + β))} で抑えられ、与えられた仮定の下で最適である。
• この方法により、誤差境界 ‖xₖ₊₁ − x*‖ ≤ [βγ / ((1 − γ‖x₀ − x*‖)² − βγ(2‖x₀ − x*‖ − γ‖x₀ − x*‖²))]‖xₖ − x*‖² を満たす2次収束が達成される。
• マジョライズ条件は、ガウス・ニュートン法の二つのこれまで独立であった収束結果を統一し、両方を包含する単一の枠組みを提供する。
• F(x*) = 0 かつ F′(x*) がフルランクであるとき、収束半径は β、γ、および定義域半径 κ によって明示的に決定され、(2 + 3β − √(β(8 + 9β)))/(2γ(1 + β)) < κ が成り立つとき、これが最適である。