[论文解读] Communication-optimal parallel and sequential QR and LU factorizations: theory and practice

James Demmel, Laura Grigori+2 more|ArXiv.org|Jun 12, 2008

graph theory and CDMA systemsEngineering参考文献 50被引用 20

一句话总结

本文提出通信最优的并行与串行 QR 和 LU 分解算法——针对高瘦矩阵的 TSQR 与针对一般矩阵的 CAQR——通过基于树的归约和分块 Householder 变换最小化数据移动。这些算法在理论和实践上均达到最优通信复杂度（最多 polylog 因子差异），在性能上超越 LAPACK/ScaLAPACK，在百亿亿次级模型上实现最高 22.9× 的加速，在集群上实现最高 6.7× 的加速。

ABSTRACT

We present parallel and sequential dense QR factorization algorithms that are both optimal (up to polylogarithmic factors) in the amount of communication they perform, and just as stable as Householder QR. Our first algorithm, Tall Skinny QR (TSQR), factors m-by-n matrices in a one-dimensional (1-D) block cyclic row layout, and is optimized for m >> n. Our second algorithm, CAQR (Communication-Avoiding QR), factors general rectangular matrices distributed in a two-dimensional block cyclic layout. It invokes TSQR for each block column factorization.

研究动机与目标

• 解决高性能计算中浮点运算与通信（延迟/带宽）之间日益扩大的性能差距。
• 为密集 QR 和 LU 分解设计在串行与并行环境下均最小化通信的算法。
• 在理论上实现通信最优性（与下界相差最多 polylog 因子），同时保持与 Householder QR 相当的数值稳定性。
• 在真实集群和外存系统上，通过实际性能证明其优于现有 LAPACK 和 ScaLAPACK 实现。

提出的方法

• 为 m ≫ n 的矩阵设计 Tall Skinny QR (TSQR)，利用二叉树或通用树形归约，以最小通信量计算 QR 分解。
• 通过在 2D 块循环布局的块列上应用 TSQR，实现 CAQR（通信避免 QR）以支持一般矩形矩阵。
• 使用带结构的 BLAS-3 操作进行 Householder 反射，优化本地分解并减少数据移动。
• 应用归约树将处理器间的本地 QR 结果合并，确保通信成本匹配理论下界。
• 使用考虑延迟、带宽和内存层次结构的机器模型对性能进行建模，以预测加速比。
• 通过几何与组合论证（如 Loomis-Whitney 不等式）将矩阵乘法的下界扩展至 QR 和 LU 分解。

实验结果

研究问题

• RQ1 QR 和 LU 分解能否被重新设计，以在串行与并行环境下均最小化通信？
• RQ2 QR 和 LU 分解的通信理论下界是什么？能否在实际中实现？
• RQ3 与现有的 LAPACK 和 ScaLAPACK 实现相比，通信避免算法在性能和数值稳定性方面表现如何？
• RQ4 通信避免分解在分布式内存系统和外存主存中的可扩展性如何？
• RQ5 通信避免方法能否被推广至高瘦矩阵和一般矩形矩阵，且效率损失最小？

主要发现

• TSQR 和 CAQR 在串行与并行执行中均实现通信最优性（最多 polylog 因子差异），其理论下界与矩阵乘法的下界一致。
• 在 16 个处理器的 Pentium III 集群上，并行 TSQR 相比 ScaLAPACK 的 PDGEQRF 实现最高 6.7× 的加速。
• 在 32 个处理器的 BlueGene/L 系统上，TSQR 在并行执行中实现最高 4× 的加速。
• 在笔记本电脑上运行的串行外存 DRAM 外 TSQR 仅比无限 DRAM 预测值慢 2 倍，表明其在内存受限系统中表现强劲。
• 性能建模预测，在百亿亿次级机器上，CAQR 相比 ScaLAPACK 最高可实现 22.9× 的加速，在 IBM Power5 上最高可实现 9.7× 的加速。
• CAQR 和 TSQR 在串行和并行情况下分别在延迟和带宽方面优于 LAPACK 和 ScaLAPACK，同时保持与 Householder QR 相当的数值稳定性。