[論文レビュー] Optimal parameter for the SOR-like iteration method for solving the system of absolute value equations

Cairong Chen, Dongmei Yu+1 more|arXiv (Cornell University)|Jan 16, 2020

Advanced Optimization Algorithms Research参考文献 26被引用数 10

ひとこと要約

本稿では、絶対値方程式（AVEs）を解くためにSOR-類似法における最適反復パラメータを提案し、反復行列の2ノルムを最小化する。従来の手法とは異なり、最適パラメータは反復に依存せず、条件 $ \|A^{-1}\|_2 < 1$ のもとで解析的に導出され、テスト事例において近似パラメータおよび一般化ニュートン法よりも収束が速く、CPU性能が優れている。

ABSTRACT

The SOR-like iteration method for solving the absolute value equations~(AVE) of finding a vector $x$ such that $Ax - |x| - b = 0$ with $ν= \|A^{-1}\|_2 &lt; 1$ is investigated. The convergence conditions of the SOR-like iteration method proposed by Ke and Ma ([{\em Appl. Math. Comput.}, 311:195--202, 2017]) are revisited and a new proof is given, which exhibits some insights in determining the convergent region and the optimal iteration parameter. Along this line, the optimal parameter which minimizes $\|T_ν(ω)\|_2$ with $$T_ν(ω) = \left(\begin{array}{cc} |1-ω| &amp; ω^2ν\\ |1-ω| &amp; |1-ω| +ω^2ν\end{array} ight)$$ and the approximate optimal parameter which minimizes $η_ν(ω) =\max\{|1-ω|,νω^2\}$ are explored. The optimal and approximate optimal parameters are iteration-independent and the bigger value of $ν$ is, the smaller convergent region of the iteration parameter $ω$ is. Numerical results are presented to demonstrate that the SOR-like iteration method with the optimal parameter is superior to that with the approximate optimal parameter proposed by Guo, Wu and Li ([{\em Appl. Math. Lett.}, 97:107--113, 2019]). In some situation, the SOR-like itration method with the optimal parameter performs better, in terms of CPU time, than the generalized Newton method (Mangasarian, [{\em Optim. Lett.}, 3:101--108, 2009]) for solving the AVE.

研究の動機と目的

• 絶対値方程式（AVEs）を解くためのSOR-類似反復法の収束条件を再考し、再証明すること。
• SOR-類似法における $\|T_\nu(\omega)\|_2$ を最小化する最適反復パラメータ $\omega$ を導出することにより、最も速い収束速度を保証すること。
• 計算効率を向上させるために、$\eta_\nu(\omega) = \max\{|1-\omega|, \nu\omega^2\}$ を最小化する近似最適パラメータを提案すること。
• 数値実験を通じて、提案された最適パラメータがGuoらの近似パラメータおよび一般化ニュートン法よりもCPU時間の点で優れていることを示すこと。
• 最適および近似最適パラメータが反復シーケンスに依存せず、各ステップでの再計算を回避できることを確立すること。

提案手法

• 収束領域および最適パラメータ選択の洞察を明らかにする新しい証明を用いて、AVEsに対するSOR-類似反復法の収束解析を再検討する。
• 反復行列 $T_\nu(\omega)$ が $\omega$ と $\nu = \|A^{-1}\|_2$ に依存する $2\times2$ 行列であるとき、$\|T_\nu(\omega)\|_2$ を最小化する最適パラメータ $\omega$ を導出する。
• 計算が容易で効果的な近似最適パラメータを、$\eta_\nu(\omega) = \max\{|1-\omega|, \nu\omega^2\}$ を最小化することで提案する。
• $\nu$ に依存する収束領域の依存関係を分析し、$\nu$ が大きいほど $\omega$ の有効範囲が小さくなることを示す。
• 反復行列が $T_\nu(\omega) = \begin{pmatrix} |1-\omega| & \omega^2\nu \\ |1-\omega| & |1-\omega| + \omega^2\nu \end{pmatrix}$ で定義される行列反復フレームワークを用い、$\|T_\nu(\omega)\|_2 < 1$ となる条件を導出する。
• 理論的結果をテスト問題に対して数値的に検証し、一般化ニュートン法および先行の近似パラメータと比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 AVEsにおけるSOR-類似法の $\|T_\nu(\omega)\|_2$ を最小化する最適反復パラメータ $\omega$ は何か？
• RQ2 $\omega$ の収束領域は $\nu = \|A^{-1}\|_2$ にどのように依存するか？
• RQ3 反復に依存しない最適パラメータを導出でき、反復依存または近似パラメータよりも速い収束を保証できるか？
• RQ4 CPU時間の観点から、提案された最適パラメータを用いたSOR-類似法の性能は、一般化ニュートン法と比べてどうか？
• RQ5 反復パラメータ選択の深層的洞察を提供する新しい収束証明の理論的根拠は何か？

主な発見

• 反復に依存しない値として、$\|T_\nu(\omega)\|_2$ を最小化する最適パラメータが導出され、AVEsにおけるSOR-類似法の最速の収束速度を保証する。
• 反復行列の2ノルムを最小化する最適パラメータが反復に依存せず、反復ごとの再計算を回避できることを示した。
• 収束領域は $\nu = \|A^{-1}\|_2$ が大きくなるほど狭くなり、これは $A^{-1}$ が悪条件であると $\omega$ の許容範囲が小さくなることを示している。
• 数値結果から、提案された最適パラメータを用いたSOR-類似法は、Guo らの近似パラメータを用いた手法よりも収束速度およびCPU時間の点で優れていることが示された。
• 一部のテストケースでは、大規模問題において、一般化ニュートン法よりもSOR-類似法が優れたCPU性能を発揮した。
• 収束の新しい証明は、反復行列の構造と $\omega$ が収束挙動を制御する役割をより深く理解する手がかりを提供している。
• $\eta_\nu(\omega) = \max\{|1-\omega|, \nu\omega^2\}$ を最小化することで得られる近似最適パラメータは、特定の状況ではGuo らが提案したものよりも効果的であることが示された。