[论文解读] A semi-conjugate gradient method for solving unsymmetric positive definite linear systems

Na Huang, Yu-Hong Dai+2 more|arXiv (Cornell University)|Jan 1, 2022

Matrix Theory and Algorithms被引用 1

一句话总结

本文提出了一种用于求解非对称正定线性系统的半共轭梯度（SCG）方法，该方法在理论上等价于全正交化方法（FOM）。文章进一步提出了滑动窗口实现（SWI），通过保持局部半共轭性提升了效率，在对流-扩散等问题的数值实验中，其性能优于SCG和DIOM。

ABSTRACT

The conjugate gradient (CG) method is a classic Krylov subspace method for solving symmetric positive definite linear systems. We introduce an analogous semi-conjugate gradient (SCG) method for unsymmetric positive definite linear systems. Unlike CG, SCG requires the solution of a lower triangular linear system to produce each semi-conjugate direction. We prove that SCG is theoretically equivalent to the full orthogonalization method (FOM), which is based on the Arnoldi process and converges in a finite number of steps. Because SCG's triangular system increases in size each iteration, we study a sliding window implementation (SWI) to improve efficiency, and show that the directions produced are still locally semi-conjugate. A counterexample illustrates that SWI is different from the direct incomplete orthogonalization method (DIOM), which is FOM with a sliding window. Numerical experiments from the convection-diffusion equation and other applications show that SCG is robust and that the sliding window implementation SWI allows SCG to solve large systems efficiently.

研究动机与目标

• 开发一种专用于非对称正定线性系统的Krylov子空间方法，以应对标准CG方法因缺乏对称性而失效的问题。
• 通过引入具有更低内存和计算成本的半共轭梯度方法，解决全正交化方法（FOM）效率低下的问题。
• 设计一种滑动窗口实现（SWI），在保持收敛性和局部半共轭性的同时，提升大规模稀疏系统的可扩展性。
• 通过数值实验表明，SWI在求解对流-扩散等应用中的大规模问题时，优于直接的SCG和DIOM方法。
• 建立SCG与FOM之间的理论等价性，并明确区分SWI与FOM的滑动窗口版本（DIOM）之间的差异。

提出的方法

• SCG方法采用半共轭框架生成搜索方向，其中每个方向通过求解一个逐渐增长的下三角系统获得。
• 该方法在理论上被证明等价于使用Arnoldi过程构建正交Krylov基的全正交化方法（FOM）。
• 引入了一种滑动窗口实现（SWI），以限制三角系统的规模，仅重用最近的m个共轭方向来计算新的半共轭方向。
• SWI确保搜索方向保持局部半共轭性，并在Krylov子空间框架内维持收敛性。
• 由于滑动窗口的内存占用有限，该方法避免了中断，并适用于大规模稀疏系统。
• 理论分析证实，SWI仍是一种有效的Krylov子空间方法，不会出现停滞或中断现象。

实验结果

研究问题

• RQ1 能否为非对称正定系统开发一种半共轭梯度方法，使其保持FOM的收敛特性？
• RQ2 SCG的滑动窗口实现（SWI）与直接不完全正交化方法（DIOM）在收敛性和方向生成方面有何比较？
• RQ3 SWI是否能保持局部半共轭性，并在大规模稀疏系统中维持收敛性？
• RQ4 SWI在实际应用中是否能实现比完整SCG和DIOM更优的计算效率？
• RQ5 窗口宽度m对SWI性能有何影响？自适应选择能否提升其鲁棒性？

主要发现

• SCG在理论上等价于FOM，即两种方法生成相同的Krylov子空间迭代过程，并在相同步数内收敛。
• SCG的滑动窗口实现（SWI）保持了局部半共轭性，并确保收敛，即使其近似了完整的三角系统求解。
• 数值实验表明，SWI在对流-扩散方程及其他应用的问题上，无论是CPU时间还是迭代次数，均优于SCG和DIOM。
• 例如，在fpga_dcop_35问题上，SWI耗时0.053秒，共903次迭代；而DIOM仅用587次迭代，耗时0.035秒，表明存在迭代次数与单次迭代成本之间的权衡。
• 在ACTIVSg10K问题上，SWI在1764次迭代和9.35秒内将残差降至9.94E-07，显示出在大规模问题上的鲁棒性。
• 一个反例表明，SWI与DIOM本质上不同：SWI生成的是局部半共轭方向，而DIOM并非如此，从而证实SWI与DIOM不等价。