[논문 리뷰] Optimal parameter for the SOR-like iteration method for solving the system of absolute value equations

Cairong Chen, Dongmei Yu외 1명|arXiv (Cornell University)|2020. 01. 16.

Advanced Optimization Algorithms Research참고 문헌 26인용 수 10

한 줄 요약

이 논문은 절대값 방정식(AVEs)을 해결하기 위해 SOR-유사 방법에 대한 최적 반복 매개수를 제안하며, 반복 행렬의 2노름을 최소화한다. 이전 방법들과 달리 최적 매개수는 반복에 독립적이며 조건 $\|A^{-1}\|_2 < 1$ 하에서 해석적으로 유도된다. 이로 인해 테스트 사례에서 근사 매개수와 일반화 뉴턴 방법보다 더 빠른 수렴 속도와 뛰어난 CPU 성능을 달성한다.

ABSTRACT

The SOR-like iteration method for solving the absolute value equations~(AVE) of finding a vector $x$ such that $Ax - |x| - b = 0$ with $ν= \|A^{-1}\|_2 &lt; 1$ is investigated. The convergence conditions of the SOR-like iteration method proposed by Ke and Ma ([{\em Appl. Math. Comput.}, 311:195--202, 2017]) are revisited and a new proof is given, which exhibits some insights in determining the convergent region and the optimal iteration parameter. Along this line, the optimal parameter which minimizes $\|T_ν(ω)\|_2$ with $$T_ν(ω) = \left(\begin{array}{cc} |1-ω| &amp; ω^2ν\\ |1-ω| &amp; |1-ω| +ω^2ν\end{array} ight)$$ and the approximate optimal parameter which minimizes $η_ν(ω) =\max\{|1-ω|,νω^2\}$ are explored. The optimal and approximate optimal parameters are iteration-independent and the bigger value of $ν$ is, the smaller convergent region of the iteration parameter $ω$ is. Numerical results are presented to demonstrate that the SOR-like iteration method with the optimal parameter is superior to that with the approximate optimal parameter proposed by Guo, Wu and Li ([{\em Appl. Math. Lett.}, 97:107--113, 2019]). In some situation, the SOR-like itration method with the optimal parameter performs better, in terms of CPU time, than the generalized Newton method (Mangasarian, [{\em Optim. Lett.}, 3:101--108, 2009]) for solving the AVE.

연구 동기 및 목표

• 절대값 방정식(AVEs)을 해결하기 위한 SOR-유사 반복 방법의 수렴 조건을 재검토하고 재증명한다.
• SOR-유사 방법에서 $\|T_\nu(\omega)\|_2$를 최소화하는 최적 반복 매개수 $\omega$를 도출한다. 이는 가장 빠른 수렴 속도를 보장한다.
• 계산 효율성을 향상시키기 위해 $\eta_\nu(\omega) = \max\{|1-\omega|, \nu\omega^2\}$를 최소화하는 근사 최적 매개수를 제안한다.
• 수치 실험을 통해 제안된 최적 매개수는 Guo 등이 제안한 근사 매개수와 일반화 뉴턴 방법보다 CPU 시간 측면에서 뛰어난 성능을 보임을 입증한다.
• 최적 매개수와 근사 최적 매개수가 반복 순서에 영향을 받지 않음을 입증하여, 각 단계에서 비용이 많이 드는 재계산을 피할 수 있다.

제안 방법

• 수렴 분석을 새로운 증명을 통해 재검토하여 수렴 영역과 최적 매개수 선택에 대한 통찰을 드러낸다.
• 반복 매개수 $\omega$가 $\|T_\nu(\omega)\|_2$를 최소화하는 최적의 값을 도출하며, 여기서 $T_\nu(\omega)$는 $\omega$와 $\nu = \|A^{-1}\|_2$에 따라 달라지는 $2\times2$ 행렬이다.
• 계산이 더 쉬우면서도 효과적인 $\eta_\nu(\omega) = \max\{|1-\omega|, \nu\omega^2\}$를 최소화하는 방식으로 근사 최적 매개수를 제안한다.
• 수렴 영역이 $\nu$에 어떻게 의존하는지 분석하여, $\nu$가 클수록 $\omega$의 유효 범위가 작아짐을 보여준다.
• 행렬 반복 프레임워크를 사용하며, 반복 행렬은 $T\_\nu(\omega) = \begin{pmatrix} |1-\omega| & \omega^2\nu \\ |1-\omega| & |1-\omega| + \omega^2\nu \end{pmatrix}$로 정의되며, $\|T_\nu(\omega)\|_2 < 1$ 이 되는 조건을 유도한다.
• 이론적 결과를 테스트 문제에 대해 수치적으로 검증하며, 일반화 뉴턴 방법과 이전의 근사 매개수와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 AVEs에 대한 SOR-유사 방법에서 $\|T_\nu(\omega)\|_2$를 최소화하는 최적 반복 매개수 $\omega$는 무엇인가?
• RQ2 $\omega$의 수렴 영역은 $\nu = \|A^{-1}\|_2$에 어떻게 의존하는가?
• RQ3 반복에 독립적인 최적 매개수를 유도할 수 있는가? 이는 반복 의존적 또는 근사 매개수보다 더 빠른 수렴을 보장하는가?
• RQ4 제안된 최적 매개수를 사용한 SOR-유사 방법의 성능은 일반화 뉴턴 방법과 CPU 시간 측면에서 어떻게 비교되는가?
• RQ5 최적의 매개수 선택에 대한 깊이 있는 통찰을 제공하는 새로운 수렴 증명의 이론적 근거는 무엇인가?

주요 결과

• 수렴 속도를 가장 빠르게 하는 최적 매개수는 반복에 독립적인 값으로 도출되었으며, 이는 AVEs에 대한 SOR-유사 방법의 최고 수준의 수렴 속도를 보장한다.
• 수렴 영역이 $\nu = \|A^{-1}\|_2$가 증가함에 따라 좁아짐을 보여주며, 이는 조건 수가 나쁜 $A^{-1}$가 $\omega$의 허용 범위를 줄임을 시사한다.
• 수치 결과는 제안된 최적 매개수를 사용한 SOR-유사 방법이 Guo 등이 제안한 근사 매개수를 사용한 방법보다 수렴 속도와 CPU 시간 측면에서 뛰어나다는 것을 보여준다.
• 일부 테스트 케이스에서 최적 매개수를 사용한 SOR-유사 방법은 일반화 뉴턴 방법보다 더 나은 CPU 성능을 달성하며, 특히 대규모 문제에서 두각을 나타낸다.
• 새로운 수렴 증명은 반복 행렬의 구조와 $\omega$가 수렴 행동을 제어하는 데서 수행하는 역할에 대한 깊이 있는 통찰을 제공한다.
• 최소화하는 방식으로 유도된 근사 최적 매개수 $\eta_\nu(\omega) = \max\{|1-\omega|, \nu\omega^2\}$는 특정 상황에서 Guo 등이 제안한 것보다 더 효과적임을 입증하였다.