[논문 리뷰] Local convergence analysis of Gauss-Newton's method under majorant condition

Ferreira, O. P., Goncalves, M. L. N.외 1명|arXiv (Cornell University)|2010. 03. 25.

Iterative Methods for Nonlinear Equations참고 문헌 18인용 수 5

한 줄 요약

이 논문은 비선형 최소 제곱 문제에 대한 가우스-뉴턴 방법의 국소 수렴 분석을 주어진 주조 조건 하에 제시한다. 이 조건은 이전 결과들을 일반화하고 통합한다. 도함수에 대한 전통적인 리프시츠 조건 대신 주조 함수를 도입함으로써, 최적의 수렴 반경과 가장 큰 유일성 영역을 도출하였으며, 이는 이전 접근법보다 더 날카운 수렴 프레임워크를 제공하고, 더 단순한 증명과 더 넓은 적용 가능성을 확보한다.

ABSTRACT

The Gauss-Newton's method for solving nonlinear least squares problems is studied in this paper. Under the hypothesis that the derivative of the function associated with the least square problem satisfies a majorant condition, a local convergence analysis is presented. This analysis allow us to obtain the optimal convergence radius, the biggest range for the uniqueness of solution, and to unify two previous and unrelated results.

연구 동기 및 목표

• 비선형 최소 제곱 문제에서 가우스-뉴턴 방법에 대한 개선된 국소 수렴 분석을 제공하기 위해.
• 도함수에 대한 전통적인 리프시츠 조건을 주조 조건으로 대체하여 더 넓은 적용 가능성과 더 날카운 수렴 추정치를 가능하게 하기 위해.
• 이전에 서로 관련이 없었던 가우스-뉴턴 방법의 두 수렴 결과를 하나의 이론적 프레임워크로 통합하기 위해.
• 주조 조건 하에서 해의 최적의 수렴 반경과 가능한 한 가장 큰 유일성 영역을 도출하기 위해.
• 수렴 증명을 단순화하고 주조 함수와 문제의 비선형 구조 간의 관계를 더 명확히 하기 위해.

제안 방법

• 분석은 칸토로비치가 도입한 주조 조건에 기반하며, 이는 함수 F의 도함수에 대한 표준 리프시츠 연속성 가정을 완화한다.
• 주조 함수 φ는 F′의 행동을 제어하며, φ는 특정한 볼록성 및 미분 가능성 조건을 만족한다.
• 바나흐의 보조정리와 행렬 섭동 이론을 이용해 가우스-뉴턴 단계 행렬의 역행렬 존재성을 확보하기 위한 핵심 부등식을 유도한다.
• 주조 함수와 그 도함수를 포함한 스칼라 방정식을 풀어 수렴 반경을 결정한다.
• 주조 기반 추정치와 볼록 함수의 성질을 이용해 최적의 수렴 구를 설정하고, 그 안에서 해의 유일성을 증명한다.
• 해석 함수의 경우, F′의 테일러 전개와 적분 기반 추정치를 연결하여 주조 함수를 유도함으로써 응용을 도출한다.

실험 결과

연구 질문

• RQ1 주조 조건 하에서 가우스-뉴턴 방법의 최적 수렴 반경은 무엇이며, 기존 리프시츠 기반 반경과 비교해 어떻게 다를까?
• RQ2 주조 조건은 어떻게 기존에 서로 관련이 없었던 가우스-뉴턴 방법의 두 수렴 결과를 통합할 수 있는가?
• RQ3 주조 조건 하에서 해를 중심으로 수렴이 유일하게 보장되는 가장 큰 구는 무엇인가?
• RQ4 주조 조건은 기존 리프시츠 조건에 비해 단순성과 일반성 측면에서 수렴 분석을 어떻게 향상시키는가?
• RQ5 주조 조건은 해석적 비선형 최소 제곱 문제에 효과적으로 적용되어 명시적인 수렴 한계를 도출할 수 있는가?

주요 결과

• 주조 조건 하에서 가우스-뉴턴 방법의 최적 수렴 반경은 r = min{κ, ρ}로 주어지며, 여기서 ρ = (a − √(a² − b))/(2γ(1 + β))이며, a와 b는 β와 γ에 의해 정의된다.
• 해의 최대 유일성 영역은 B(x*, 1/(γ(1 + β)))이며, 반경 조건을 만족할 경우 이것이 날카로운 값임을 입증하였다.
• 해석 함수의 경우, 수렴 반경은 r = min{κ, (2 + 3β − √(β(8 + 9β)))/(2γ(1 + β))}로 명시적으로 유계되어 있으며, 주어진 가정 하에서 최적이다.
• 이 방법은 오차 추정치 ‖xₖ₊₁ − x*‖ ≤ [βγ / ((1 − γ‖x₀ − x*‖)² − βγ(2‖x₀ − x*‖ − γ‖x₀ − x*‖²))]‖xₖ − x*‖²를 통해 이차 수렴을 달성한다.
• 주조 조건은 이전에 서로 관련이 없었던 가우스-뉴턴 방법의 두 수렴 결과를 통합하여, 둘 다 포함하는 단일 프레임워크를 제공한다.
• F(x*) = 0 이고 F′(x*)가 전순위를 가질 경우, 수렴 반경은 β, γ, 그리고 영역 반경 κ에 의해 명시적으로 결정되며, (2 + 3β − √(β(8 + 9β)))/(2γ(1 + β)) < κ 일 때 최적이 된다.