[论文解读] A block Recycled GMRES method with investigations into aspects of solver performance

Michael L. Parks, Kirk M. Soodhalter+1 more|arXiv (Cornell University)|Apr 6, 2016

Matrix Theory and Algorithms参考文献 31被引用 14

一句话总结

本文提出了一种块回收GMRES方法，通过结合块Krylov降维与降维技术，加速求解具有多个右端向量的大规模、稀疏、非厄米特线性系统序列的收敛速度。结果表明，块运算可提升数据移动效率与缓存重用率，但正交化开销可能抵消部分优势；该方法在Trilinos中实现，并在大规模问题上展示了其在收敛性和性能指标上优于标准方法。

ABSTRACT

We propose a block Krylov subspace version of the GCRO-DR method proposed in [Parks et al.; SISC 2005], which is an iterative method allowing for the efficient minimization of the the residual over an augmented Krylov subspace. We offer a clean derivation of our proposed method and discuss methods of selecting recycling subspaces at restart as well as implementation decisions in the context of high-performance computing. Numerical experiments are split into those demonstrating convergence properties and those demonstrating the data movement and cache efficiencies of the dominant operations of the method, measured using processor monitoring code from Intel.

研究动机与目标

• 解决大规模、稀疏、非厄米特线性系统序列的高效求解挑战，尤其针对存在多个右端向量的情形。
• 通过结合块Krylov方法与子空间回收技术，提升收敛速度与计算效率。
• 在高性能计算环境中，研究块回收方法在收敛性之外的性能表现，重点关注数据移动与缓存效率。
• 评估在投影算子背景下，块运算与正交化开销之间的权衡，特别是在回收算法中的影响。
• 提供块回收GMRES的清晰推导与实现指导，代码在Trilinos与MATLAB中公开可用。

提出的方法

• 提出GCRO-DR方法的块Krylov子空间版本，支持在系统序列间回收被降维的不变子空间。
• 使用块Arnoldi过程生成块Krylov子空间，并通过加入回收的降维子空间以加速收敛。
• 对系统矩阵应用投影算子 $(\mathbf{I} - \mathbf{P})$，以确保在回收子空间上保持正交性，从而在降维空间中实现残差最小化。
• 采用基于Householder的块存储与应用策略，在正交化与矩阵-向量乘法过程中保持缓存效率。
• 利用Intel处理器监控工具测量数据移动量与缓存未命中次数，评估矩阵-向量乘法与正交化例程的性能。
• 比较块运算（对完整向量块应用）与列式应用，评估在投影条件下的缓存效率权衡。

实验结果

研究问题

• RQ1 将块Krylov方法与回收技术结合，能在多大程度上改善具有多个右端向量的线性系统序列的收敛性能？
• RQ2 在数据移动与缓存效率方面，块运算在矩阵-向量乘法中的表现与列式运算相比如何？
• RQ3 对系统矩阵应用投影算子，对块回收方法中矩阵-向量运算的缓存效率有何影响？
• RQ4 正交化例程（如修正Gram-Schmidt与多轮经典Gram-Schmidt）在块回收GMRES中的性能与缓存利用率表现如何？
• RQ5 尽管正交化可能存在效率问题，块回收方法是否仍能在总搜索子空间维度与标准块GMRES匹配的情况下实现更优的整体运行时间性能？

主要发现

• 块回收GMRES在大规模问题与多个右端向量下，收敛曲线比标准块GMRES及非块回收方法更陡峭。
• 对于未投影算子，块矩阵-向量乘法展现出显著的缓存效率优势，缓存未命中次数减少2–3倍，运行时间更优，相比列式应用。
• 当对系统矩阵应用投影算子时，块运算的性能优势减弱，部分情况下甚至劣于列式应用，原因在于数据局部性降低。
• 对投影矩阵应用块向量与单个向量的耗时比在多个矩阵上超过2倍，表明投影情况下存在显著性能惩罚。
• 修正Gram-Schmidt与多轮经典Gram-Schmidt等正交化例程性能表现相近，但块正交化在缓存效率方面并未始终优于列式方法。
• 该算法的C++实现已集成于Trilinos的Belos库中，MATLAB版本亦公开可得，支持可复现性与在现有HPC工作流中的集成。