[论文解读] Accelerating eigenvector and pseudospectra computation using blocked multi-shift triangular solves

Tim Moon, Jack Poulson|arXiv (Cornell University)|Jul 6, 2016

Parallel Computing and Optimization Techniques参考文献 17被引用 3

一句话总结

本文提出了一种基于Level 3 BLAS的分块多移位三角形求解算法，用于加速特征向量与伪谱计算。通过将多个移位的三角形求解重新表述，并引入对病态矩阵的保护机制，该方法在三角形特征向量计算上相比LAPACK实现了高达60倍的加速，在伪谱计算上相比EigTool实现了9倍的加速，显著提升了特征值分析工作负载的性能。

ABSTRACT

Multi-shift triangular solves are basic linear algebra calculations with applications in eigenvector and pseudospectra computation. We propose blocked algorithms that efficiently exploit Level 3 BLAS to perform multi-shift triangular solves and safe multi-shift triangular solves. Numerical experiments indicate that computing triangular eigenvectors with a safe multi-shift triangular solve achieves speedups by a factor of 60 relative to LAPACK. This algorithm accelerates the calculation of general eigenvectors threefold. When using multi-shift triangular solves to compute pseudospectra, we report ninefold speedups relative to EigTool.

研究动机与目标

• 解决现有LAPACK例程依赖Level 2 BLAS导致的特征向量与伪谱计算性能瓶颈。
• 通过用分块多移位三角形求解替代无分块回代，实现三角形与一般特征向量的高效计算。
• 开发一种安全、数值稳定的多移位三角形求解变体，防止病态情况下发生溢出与除零错误。
• 通过在多个移位点上启用Level 3 BLAS优化的多移位求解，加速伪谱计算。
• 通过Fortran实现和实数运算支持，为未来集成到LAPACK中奠定基础。

提出的方法

• 提出一种分块多移位三角形求解算法，用xGEMM等Level 3 BLAS例程替代Level 2 BLAS操作，提升数据局部性与缓存效率。
• 将标准分块回代算法扩展为可同时处理多个移位，通过将移位应用于三角矩阵的对角块实现。
• 引入一种安全的多移位三角形求解方法，结合动态缩放与误差监控，防止数值溢出并保持向后稳定性。
• 采用受保护的迭代缩放策略，监控中间向量的无穷范数，并调整缩放因子以保持在安全范围内。
• 通过在xTRSV与xGEMM操作上使用改进的分块算法，将方法推广至广义特征值问题，求解(U - λV)x = b。
• 将广义安全多移位求解作为核心子程序，集成到鲁棒的特征值求解器流水线中，适用于三角形与一般矩阵。

实验结果

研究问题

• RQ1 使用Level 3 BLAS的分块多移位三角形求解是否能显著减少相比LAPACK基于Level 2 BLAS的xTREVC的特征向量计算时间？
• RQ2 安全的多移位三角形求解算法是否能在病态情况下防止数值溢出与除零错误，同时保持向后稳定性？
• RQ3 多移位三角形求解在多大程度上可加速伪谱计算，特别是在大规模问题中？
• RQ4 所提算法的性能如何随矩阵规模与移位数量变化而变化？
• RQ5 所提算法能否推广至广义特征值问题，并集成到标准线性代数库中？

主要发现

• 使用安全多移位三角形求解计算三角形特征向量，相比LAPACK的xTREVC例程实现了60倍加速。
• 与LAPACK基线相比，使用该方法计算一般特征向量的性能提升了三倍。
• 在3200×3200矩阵、10,000个网格点下计算解析延拓范数时，新算法相比EigTool在伪谱计算上实现了九倍加速。
• 性能提升主要归因于高效利用Level 3 BLAS，特别是xGEMM，提升了数据重用率与缓存利用率。
• 安全多移位三角形求解通过动态缩放解向量，防止溢出，即使在病态矩阵下也能保持数值稳定性。
• 广义多移位三角形求解将方法扩展至广义特征值问题，实现了广义特征向量的鲁棒且高效计算。