[论文解读] A New Highly Parallel Non-Hermitian Eigensolver

Ping Tak Peter Tang, James Kestyn+1 more|arXiv (Cornell University)|Apr 10, 2014

Quantum Mechanics and Non-Hermitian Physics参考文献 21被引用 7

一句话总结

本文提出了一种新型高度并行的非厄米特特征值求解器——非厄米特FEAST，通过柯西积分的新型有理逼近，将原本针对厄米特特征问题的FEAST算法推广至非厄米特广义特征问题。该方法采用基于数值积分的谱投影算子加速子空间迭代，实现了多级并行性，并在右、左特征子空间中均表现出鲁棒的收敛性，且在大规模计算架构上展现出高性能表现。

ABSTRACT

Calculating portions of eigenvalues and eigenvectors of matrices or matrix pencils has many applications. An approach to this calculation for Hermitian problems based on a density matrix has been proposed in 2009 and a software package called FEAST has been developed. The density-matrix approach allows FEAST's implementation to exploit a key strength of modern computer architectures, namely, multiple levels of parallelism. Consequently, the software package has been well received and subsequently commercialized. A detailed theoretical analysis of Hermitian FEAST has also been established very recently. This paper generalizes the FEAST algorithm and theory, for the first time, to tackle non-Hermitian problems. Fundamentally, the new algorithm is basic subspace iteration or Bauer bi-iteration, except applied with a novel accelerator based on Cauchy integrals. The resulting algorithm retains the multi-level parallelism of Hermitian FEAST, making it a valuable new tool for large-scale computational science and engineering problems on leading-edge computing platforms.

研究动机与目标

• 将原本专为厄米特问题设计的FEAST特征值求解器推广至非厄米特广义特征问题。
• 开发一种理论基础扎实、可并行化的算法，保持非厄米特情况下FEAST的多级并行特性。
• 在仅关注谱系中部分特征值的大型科学与工程应用中，实现选定特征对的高效计算。
• 建立在非厄米特设置下，使用基于数值积分的近似谱投影算子进行子空间迭代的收敛性理论。
• 在现代高性能计算平台（包括多节点、多核系统）上展示高效率与强可扩展性。

提出的方法

• 通过在复平面上包围目标特征值的闭合轮廓上进行数值积分，实现对谱投影算子的有理逼近。
• 采用一种基于柯西积分的新型加速器，将精确谱投影算子替换为基于数值积分的近似，实施子空间迭代。
• 支持单侧（R-FEAST）与双侧（Bi-FEAST）两种方法，分别或同时处理左、右特征子空间。
• 在每个积分节点上求解多个右端项的线性系统 $\phi_k B - A$，实现节点、核心与右端项之间的大规模并行性。
• 应用瑞利-里茨（Rayleigh-Ritz）过程从生成的子空间中提取收敛的特征对，确保精度与收敛性。
• 算法设计保持子空间维度恒定，且各次迭代中系统求解规模不变，与目标谱位置无关。

实验结果

研究问题

• RQ1 能否在保持多级并行性与收敛性的同时，将FEAST算法从厄米特问题推广至非厄米特广义特征问题？
• RQ2 基于数值积分的谱投影算子近似在非厄米特情形下如何影响收敛性与特征向量精度？
• RQ3 在非厄米特设置下，单侧（R-FEAST）与双侧（Bi-FEAST）形式的相对性能与鲁棒性如何？
• RQ4 该算法在大规模高性能计算环境中，跨多个计算节点与核心的可扩展性如何？
• RQ5 使用基于数值积分的有理逼近处理具有缺陷特征向量或若尔当代数块的非厄米特矩阵时，其影响是什么？

主要发现

• 在24个节点（每节点16核）上实现强可扩展性，求解时间从1节点的366秒降至24节点的24.6秒，效率下降至62%，主要由通信开销导致。
• 对于条件良好的问题，Bi-FEAST比R-FEAST收敛更快，而R-FEAST同样能快速达到小残差。
• 该方法在整个迭代过程中保持恒定的子空间维度与线性系统规模，实现可预测且可扩展的性能。
• 数值积分近似会扰动投影算子的特征值，但不改变其特征向量，从而保持与标准子空间迭代相似的收敛行为。
• 在Bi-FEAST中，该方法能同时成功计算左、右特征子空间，且瑞利-里茨过程能正确提取目标特征对。
• 该方法与基于Krylov子空间的方法（如Arnoldi或Lanczos）本质不同，因其使用零阶矩谱投影算子，而非高阶矩阵矩。