[論文レビュー] A semi-conjugate gradient method for solving unsymmetric positive definite linear systems

Na Huang, Yu-Hong Dai+2 more|arXiv (Cornell University)|Jan 1, 2022

Matrix Theory and Algorithms被引用数 1

ひとこと要約

この論文は、非対称正定値線形方程式系を解くための半共役勾配法（SCG）を提案する。理論的には全直交化法（FOM）と同等である。また、局所的半共役性を維持し、効率を向上させるスライディングウィンドウ実装（SWI）を提案し、対流拡散問題などの数値実験でSCGおよびDIOMを上回る性能を示した。

ABSTRACT

The conjugate gradient (CG) method is a classic Krylov subspace method for solving symmetric positive definite linear systems. We introduce an analogous semi-conjugate gradient (SCG) method for unsymmetric positive definite linear systems. Unlike CG, SCG requires the solution of a lower triangular linear system to produce each semi-conjugate direction. We prove that SCG is theoretically equivalent to the full orthogonalization method (FOM), which is based on the Arnoldi process and converges in a finite number of steps. Because SCG's triangular system increases in size each iteration, we study a sliding window implementation (SWI) to improve efficiency, and show that the directions produced are still locally semi-conjugate. A counterexample illustrates that SWI is different from the direct incomplete orthogonalization method (DIOM), which is FOM with a sliding window. Numerical experiments from the convection-diffusion equation and other applications show that SCG is robust and that the sliding window implementation SWI allows SCG to solve large systems efficiently.

研究の動機と目的

• 非対称正定値線形方程式系に特化したKrylov部分空間法の開発。標準的なCG法は対称性の欠如により失敗する。
• 全直交化法（FOM）の非効率性を是正するため、記憶容量と計算コストを削減した半共役勾配アプローチの導入。
• スライディングウィンドウ実装（SWI）の設計。収束性と局所的半共役性を維持しつつ、大規模スパース系のスケーラビリティを向上させる。
• 数値実験を通じて、SWIが対流拡散およびその他の応用分野からの大規模問題を解く際、直接的なSCGおよびDIOMを上回ることを示す。
• SCGとFOMの理論的同等性を確立し、SWIとFOMのスライディングウィンドウ版（DIOM）との違いを明確にする。

提案手法

• SCG法は、半共役フレームワークに基づき、各探索方向を増大する下三角行列系を解いて計算する。
• 理論的に、アーノルド法を用いて正規直交Krylov基底を構築する全直交化法（FOM）と同等であることが証明されている。
• スライディングウィンドウ実装（SWI）を導入し、三角行列系のサイズを制限。最新のm個の共役方向のみを再利用して、新しい半共役方向を計算する。
• SWIは探索方向が局所的半共役性を保ち、Krylov部分空間フレームワーク内での収束を維持する。
• スライディングウィンドウのメモリフットプリントが小さいため、ブレークダウンを回避でき、大規模スパース系に適用可能である。
• 理論的分析により、SWIは有効なKrylov部分空間法であり、停滞やブレークダウンを起こさないことが確認された。

実験結果

リサーチクエスチョン

• RQ1 非対称正定値系に適した半共役勾配法を開発できるか。その場合、FOMと同等の収束性を保持できるか。
• RQ2 SCGのスライディングウィンドウ実装（SWI）は、直接的な不完全直交化法（DIOM）と比較して、収束性および方向生成においてどのように異なるか。
• RQ3 SWIは大規模スパース系において、局所的半共役性を保持し、収束性を維持できるか。
• RQ4 実用的応用において、SWIは全SCGおよびDIOMよりも優れた計算効率を達成できるか。
• RQ5 ウィンドウ幅mがSWIの性能に与える影響は何か。また、適応的選択によりロバスト性が向上するか。

主な発見

• SCGは理論的にFOMと同等であり、両者とも同じKrylov部分空間反復を生成し、同じステップ数で収束する。
• SCGのスライディングウィンドウ実装（SWI）は局所的半共役性を維持し、完全な三角行列解法を近似しても、ブレークダウンなしで収束を保証する。
• 数値実験では、対流拡散方程式およびその他の応用分野の問題において、SWIはCPU時間および反復回数の両面でSCGおよびDIOMを上回った。
• 例えば、fpga_dcop_35問題では、SWIは903反復、0.053秒を要したが、DIOMは587反復で0.035秒を要し、反復回数と1反復あたりのコストのトレードオフが明確になった。
• ACTIVSg10K問題では、SWIは1764反復、9.35秒で残差9.94E-07を達成し、大規模問題においてもロバスト性を示した。
• 反例により、SWIとDIOMは根本的に異なることが示された。SWIは局所的半共役方向を生成するが、DIOMはそうではない。これにより、SWIはDIOMと同等でないことが確認された。