[논문 리뷰] The W4 method: a new multi-dimensional root-finding scheme for nonlinear systems of equations

H. Okawa, Kotaro Fujisawa외 5명|arXiv (Cornell University)|2018. 09. 12.

Iterative Methods for Nonlinear Equations참고 문헌 9인용 수 3

한 줄 요약

W4 방법은 비선형 연립방정식 시스템을 위한 새로운 반복적 근 찾기 알고리즘으로, 감쇠 진동자 동역학에 영감을 받아 뉴턴-라프슨(NR) 방법을 확장하여 이阶 도함수 항을 포함한다. 이 방법은 NR과 동일한 국소적 2차 수렴 속도를 달성하지만, 초기 추정값이 열악할 경우 NR이 실패하는 경우에도 해를 성공적으로 찾는 데에 뛰어난 전역 수렴 성질을 보이며, 다차원 테스트 케이스에서 NR이 발산하거나 진동하는 경우에도 이를 입증하였다.

ABSTRACT

We propose a new class of method for solving nonlinear systems of equations, which, among other things,has four nice features: (i) it is inspired by the mathematical property of damped oscillators, (ii) it can be regarded as a simple extention to the Newton-Raphson(NR) method, (iii) it has the same local convergence as the NR method does, (iv) it has a significantly wider convergence region or the global convergence than that of the NR method. In this article, we present the evidence of these properties, applying our new method to some examples and comparing it with the NR method.

연구 동기 및 목표

• 뉴턴-라프슨(NR) 방법의 핵심적 한계인 초기 추정값 선택에 대한 민감성 문제를 해결하고자 하며, 특히 다차원 비선형 시스템에서 이를 다루고자 한다.
• NR의 국소 2차 수렴 특성을 유지하면서 수렴 영역을 크게 확장하는 방법을 개발하고자 한다.
• 수렴이 불안정하거나 진동하는 경우에도 안정적이고 계산 효율성이 높은 NR의 대체 방법을 제안하고자 하며, 초기 추정값이 해에서 멀어도 발산이나 진동을 피할 수 있도록 하고자 한다.
• NR가 실패하는 시스템, 심지어 자코비안이 잘 조절된 경우에도 새로운 방법이 해를 구할 수 있음을 입증하고자 한다.
• 이론적 및 수치적 근거를 바탕으로 W4 방법이 실용적인 비선형 시스템에서 전역 수렴을 달성함을 확립하고자 한다.

제안 방법

• W4 방법은 반복 업데이트 규칙에 이阶 시간 도함수 항을 도입하여 시스템을 관성과 함께 감쇠되는 진동자로 모델링한다.
• 감쇠 계수 λ를 가진 감쇠 조화 진동자의 시간 진동에 기반한 운동량 유사 항을 포함하여 뉴턴-라프슨 반복을 재구성한다.
• 계산 비용을 NR과 유사하게 유지하기 위해 자코비안 행렬의 UDL 분해를 사용하여 업데이트를 효율적으로 계산한다.
• 업데이트 규칙은 $ \bm{x}_{n+1} = \bm{x}_n - \frac{1}{4} P_n \Lambda_n^{-1} P_n^{-1} \bm{F}(\bm{x}_{n-1}) $로 표현되며, 여기서 $ P_n $ 및 $ \Lambda_n $ 는 자코비안의 스펙트럼 분해로부터 유도된다.
• 자코비안의 비가역성 발생 시 업데이트 방향이 자코비안의 음의 고유벡터와 일치하도록 보장하여 국소 최적해에서의 갇힘을 방지한다.
• 제시된 결과에서는 시간 간격 $ \Delta\tau $ 를 0.5로 고정하였으며, 다양한 초기 조건 하에서도 방법이 강인함을 보였다.

실험 결과

연구 질문

• RQ1 뉴턴-라프슨 방법의 이阶 확장이 국소 수렴 속도를 유지하면서도 비선형 시스템의 전역 수렴을 향상시킬 수 있는가?
• RQ2 초기 추정값이 해에서 멀어졌을 경우, 반복 과정에 관성 및 감쇠 항을 포함함으로써 수렴 거동에 어떤 영향을 미치는가?
• RQ3 W4 방법이 다차원 문제에서 뉴턴-라프슨 및 DN 방법이 앓는 발산 또는 진동에서 성공적으로 벗어나는가?
• RQ4 W4 방법의 계산 비용은 뉴턴-라프슨 방법과 비교하여 어느 정도이며, 동일한 주기수준을 유지할 수 있는가?
• RQ5 W4 방법이 NR 방법에서 수렴하지 않는 뉴턴 기반 영역을 어느 정도 제거하는가?

주요 결과

• 이론적 분석과 수치 실험을 통해 W4 방법은 뉴턴-라프슨 방법과 동일한 국소 2차 수렴 속도를 확보함을 확인하였다.
• 초기 추정값이 열악하여 NR 방법이 발산하거나 진동하는 문제에서는, W4 방법이 항상 해로 수렴하며, 자코비안이 잘 조절된 경우에도 마찬가지로 성공함을 입증하였다.
• 다차원 테스트 케이스에서 DN(damped Newton) 방법이 갇히는 원점에서 W4 방법이 성공적으로 탈출함으로써, 더 뛰어난 전역 수렴 성질을 보였다.
• 그림 2, 3, 4에서 시각화된 바와 같이, W4 방법은 NR 방법에서 수렴하지 않는 문제적인 뉴턴 기반 영역을 제거하였으며, 더 넓은 수렴 영역을 가짐을 시사한다.
• 자코비안의 UDL 분해를 사용함으로써 W4 방법의 계산 비용은 NR과 비교해 유사하게 유지되며, 복잡성의 유의미한 증가가 없음을 확인하였다.
• 장기적으로는 W4 방법의 수렴은 DN 방법과 마찬가지로 선형 수렴을 보이나, 이전 단계의 운동량을 활용함으로써 정체를 피한다.