[论文解读] Computing the R of the QR factorization of tall and skinny matrices using MPI_Reduce

Julien Langou|arXiv (Cornell University)|Feb 23, 2010

Interconnection Networks and Systems参考文献 3被引用 11

一句话总结

本文提出了一种基于MPI的高层次、可移植方法，用于使用用户自定义约简操作计算瘦高矩阵QR分解的R因子。通过将QR更新建模为树结构上的结合性、交换性约简，该方法利用MPI_Reduce在分布式系统上高效并行化计算，在通信避免场景下性能优于传统的ScaLAPACK实现。

ABSTRACT

A QR factorization of a tall and skinny matrix with n columns can be represented as a reduction. The operation used along the reduction tree has in input two n-by-n upper triangular matrices and in output an n-by-n upper triangular matrix which is defined as the R factor of the two input matrices stacked the one on top of the other. This operation is binary, associative, and commutative. We can therefore leverage the MPI library capabilities by using user-defined MPI operations and MPI_Reduce to perform this reduction. The resulting code is compact and portable. In this context, the user relies on the MPI library to select a reduction tree appropriate for the underlying architecture.

研究动机与目标

• 提出一种在分布式环境中高效计算QR分解R因子的可移植方法。
• 展示瘦高矩阵的QR更新操作如何建模为二元、结合性且交换性的约简操作。
• 表明使用用户自定义操作的MPI_Reduce可实现可扩展且架构感知的计算，无需低层树结构管理。
• 提供性能对比，展示通信避免算法相较于标准ScaLAPACK方法的优势。
• 倡导将此约简操作作为标准、可重用原原子纳入MPI中，用于高性能线性代数计算。

提出的方法

• 该方法将瘦高矩阵的QR分解建模为上三角R矩阵树上的约简操作。
• 每次约简步骤通过对其垂直堆叠进行QR分解，将两个n×n上三角矩阵合并为单个R因子。
• 约简操作定义为 R := qr(R₁, R₂)，其中qr计算[R₁; R₂]的R因子，且已被证明具有结合性并基本满足交换性。
• 实现使用MPI_Allreduce配合自定义MPI_Op执行约简，将树结构对用户透明。
• 该方法依赖LAPACK的DGEQRF进行本地QR分解，并利用MPI的约简能力实现全局同步。
• 该方法支持任意约简树结构（二叉、扁平或拓扑感知），性能取决于底层MPI的树选择策略。

实验结果

研究问题

• RQ1 瘦高矩阵的QR分解能否表示为树结构上的约简操作？
• RQ2 用于组合R因子的二元操作是否具有足够的结合性与交换性，以支持MPI中任意约简树结构？
• RQ3 基于MPI的约简性能与手写约简树及标准ScaLAPACK QR分解相比如何？
• RQ4 高阶MPI原原子（如MPI_Allreduce）能否高效且可移植地实现通信避免算法？
• RQ5 在分布式环境中，使用通信避免约简策略相较于传统Householder QR，可实现多大性能提升？

主要发现

• 所提出的约简操作在数学上正确且稳定，R因子在对角线元素符号变化下唯一。
• 该操作在符号意义下具有结合性与交换性，可支持MPI中任意约简树结构。
• 基于两行MPI_Allreduce的实现，在256个处理器上对1M×50矩阵的计算速度达到414 MFlop/sec/proc，优于ScaLAPACK的PDGEQRx（184 MFlop/sec/proc）。
• 手写二叉树版本的TSQR实现达到610 MFlop/sec/proc，优于MPI_Allreduce版本（392 MFlop/sec/proc），表明MPI的树选择可能并非最优。
• MPI_Allreduce与手写树之间的性能差距凸显了在通信避免算法中树感知约简的重要性。
• 该方法在不同架构上表现出强可扩展性与可移植性，依赖MPI自动适应底层网络与内存层次结构。