[论文解读] Block algorithms with augmented Rayleigh-Ritz projections for large-scale eigenpair computation

Zaiwen Wen, Yin Zhang|arXiv (Cornell University)|Jul 22, 2015

Matrix Theory and Algorithms参考文献 18被引用 6

一句话总结

该论文提出 arrabit，一种通过增强瑞利-里茨（ARR）投影和多项式预条件化加速收敛的块特征值算法，在无需显式并行化的情况下，仅需1–3次瑞利-里茨调用，即可在大规模对称矩阵上实现优于ARPACK和FEAST等最先进求解器的性能。

ABSTRACT

Most iterative algorithms for eigenpair computation consist of two main steps: a subspace update (SU) step that generates bases for approximate eigenspaces, followed by a Rayleigh-Ritz (RR) projection step that extracts approximate eigenpairs. So far the predominant methodology for the SU step is based on Krylov subspaces that builds orthonormal bases piece by piece in a sequential manner. In this work, we investigate block methods in the SU step that allow a higher level of concurrency than what is reachable by Krylov subspace methods. To achieve a competitive speed, we propose an augmented Rayleigh-Ritz (ARR) procedure and analyze its rate of convergence under realistic conditions. Combining this ARR procedure with a set of polynomial accelerators, as well as utilizing a few other techniques such as continuation and deflation, we construct a block algorithm designed to reduce the number of RR steps and elevate concurrency in the SU steps. Extensive computational experiments are conducted in Matlab on a representative set of test problems to evaluate the performance of two variants of our algorithm in comparison to two well-established, high-quality eigensolvers ARPACK and FEAST. Numerical results, obtained on a many-core computer without explicit code parallelization, show that when computing a relatively large number of eigenpairs, the performance of our algorithms is competitive with, and frequently superior to, that of the two state-of-the-art eigensolvers.

研究动机与目标

• 通过减少对顺序瑞利-里茨步骤的依赖，缓解现代多核架构中Krylov子空间方法的可扩展性瓶颈。
• 通过提供可证明的加速机制，克服传统块方法在特征值衰减平缓区域的收敛缓慢问题。
• 设计一种框架，将计算负担转移到高度并行的子空间更新（SU）步骤，利用矩阵-矩阵乘法实现。
• 在大规模稀疏对称矩阵上，实现与ARPACK和FEAST等成熟特征值求解器相当或更优的性能。
• 实现对大量外部特征对（k ≪ n）的高效计算，兼具高精度与低通信开销。

提出的方法

• 引入增强瑞利-里茨（ARR）过程，通过投影到包含里茨向量和残差校正的增强子空间，实现收敛加速。
• 采用块幂迭代和高斯-牛顿法作为子空间更新（SU）方案，两者均以矩阵乘法操作（AX）为主导，具备高度并行性。
• 应用低次多项式加速器，提升块幂方法的收敛速度，同时不增加计算复杂度。
• 实施一种激进的停止准则，允许迭代矩阵在数值上秩亏，从而减少不必要的瑞利-里茨投影。
• 集成延续与降维技术，提升在特征值聚集或分离度差情况下的鲁棒性与收敛性。
• 设计算法以最小化瑞利-里茨调用次数——这对可扩展性至关重要，因为其涉及密集特征值求解与正交化操作，且并行度有限。

实验结果

研究问题

• RQ1 在大规模对称特征值问题上，采用增强瑞利-里茨投影的块算法是否能比传统Krylov方法实现更快的收敛速度？
• RQ2 在保持特征对计算高精度的前提下，瑞利-里茨投影次数可被减少到何种程度？
• RQ3 与基于Krylov的方法相比，该提出的块方法在特征对数量k增加时的可扩展性如何，尤其在k较大时？
• RQ4 多项式加速与激进停止准则是否能显著提升块幂迭代的收敛性，同时不牺牲可靠性？
• RQ5 在实际条件下（如特征值聚集或衰减平缓），ARR过程是否能提供可证明的收敛加速？

主要发现

• arrabit在UF稀疏矩阵集合中的16个测试矩阵上，即使未进行显式代码并行化，性能仍与ARPACK和FEAST相当或更优。
• 平均而言，arrabit仅需1–3次增强瑞利-里茨（ARR）投影即可达到10⁻¹²的解精度容差，显著减少了昂贵的密集特征值求解次数。
• 对于cfd1和Ge87H76等矩阵，arrabit在k增大时的可扩展性优于基于Krylov的eigs求解器，解算时间随k增长的速率更慢。
• 在特征值衰减平缓的困难问题上，arrabit相比eigs实现了数倍的加速，展现出强鲁棒性与高效性。
• 基于高斯-牛顿法的arrabit变体（gn）表现强劲，尤其在具有密集Cholesky因子的矩阵上；尽管在部分小到中等规模k的问题上FEAST仍更快。
• 由于子空间更新步骤中块SpMV操作的高并行性，该算法在并行架构上表现出极佳性能。