[论文解读] Finite Projective Geometry based Fast, Conflict-free Parallel Matrix Computations

Shreeniwas Sapre, Hrishikesh Sharma+3 more|arXiv (Cornell University)|Jul 5, 2011

Interconnection Networks and Systems参考文献 12被引用 3

一句话总结

本文提出了一种基于有限射影几何的数据分布与互连方案，用于加速并行矩阵计算，特别是共轭梯度（CG）和LU/Cholesky分解。通过利用射影几何中的对称关联关系，该方法实现了无冲突、通信优化的并行执行，具有可证明的最优负载均衡和更低的通信开销，在速度上显著优于传统的网格拓扑方案。

ABSTRACT

Matrix computations, especially iterative PDE solving (and the sparse matrix vector multiplication subproblem within) using conjugate gradient algorithm, and LU/Cholesky decomposition for solving system of linear equations, form the kernel of many applications, such as circuit simulators, computational fluid dynamics or structural analysis etc. The problem of designing approaches for parallelizing these computations, to get good speedups as much as possible as per Amdahl's law, has been continuously researched upon. In this paper, we discuss approaches based on the use of finite projective geometry graphs for these two problems. For the problem of conjugate gradient algorithm, the approach looks at an alternative data distribution based on projective-geometry concepts. It is proved that this data distribution is an optimal data distribution for scheduling the main problem of dense matrix-vector multiplication. For the problem of parallel LU/Cholesky decomposition of general matrices, the approach is motivated by the recently published scheme for interconnects of distributed systems, perfect difference networks. We find that projective-geometry based graphs indeed offer an exciting way of parallelizing these computations, and in fact many others. Moreover, their applications ranges from architectural ones (interconnect choice) to algorithmic ones (data distributions).

研究动机与目标

• 通过设计一种通信优化、无冲突的互连与数据分布方案，解决并行矩阵计算中的性能瓶颈，特别是稀疏矩阵-向量乘法（SpMV）和LU/Cholesky分解问题。
• 通过最小化通信开销并确保处理器间计算负载均衡，提升受Amdahl定律限制的加速比。
• 提出一种新型数据分布方法——'射影数据分布'，其在共轭梯度算法中对稠密矩阵-向量乘法具有可证明的通信最优性。
• 利用四维射影空间图设计LU/Cholesky分解的高效调度与互连方案，优于传统的网格拓扑结构。
• 通过仿真验证基于射影几何架构的有效性，比较性能指标如周期数、计算时间与处理器利用率。

提出的方法

• 以有限射影几何图（特别是四维射影空间）作为处理器与内存互连的底层拓扑结构，基于子空间之间的关联与包含关系。
• 利用射影几何的自同构性质生成完美访问模式与序列，确保所有处理器与内存同时通信且无冲突。
• 提出一种新型的'射影数据分布'用于矩阵数据，源自几何关联关系，以最小化通信量并平衡SpMV内核中的计算负载。
• 设计两种调度方案（PG-1与PG-2）用于LU/Cholesky分解，利用间接关联与分层子空间，实现高效的数据移动与计算调度。
• 在多种块大小（如8×8、12×12、24×24）下进行性能仿真，并与基于网格的互连结构比较，指标包括总周期数、计算/通信周期数与归一化执行时间。
• 使用软件原型评估传统按行分布与所提出的射影分布之间的性能差异，重点关注通信效率与负载均衡。

实验结果

研究问题

• RQ1 基于有限射影几何的数据分布能否在共轭梯度算法的稠密矩阵-向量乘法中实现可证明的最优通信复杂度？
• RQ2 在LU/Cholesky分解中，基于射影几何的互连拓扑结构相较于传统的网格拓扑结构，在处理器利用率与总执行时间方面表现如何？
• RQ3 与传统的按行或按块分布相比，射影数据分布在SpMV内核中能将通信开销降低多少？
• RQ4 能否利用射影几何的对称性与自同构性质，设计出无冲突、高带宽的通信模式以支持并行矩阵计算？
• RQ5 在项目几何架构与网格架构中，周期数与归一化计算时间如何随块尺寸减小而变化？

主要发现

• 射影数据分布对稠密矩阵-向量乘法具有可证明的通信最优性，与传统的按行分布相比，显著减少了通信量。
• 在共轭梯度算法中，当处理器数量超过20–30个时，射影分布优于按行分布，且随着处理器数量增加，性能优势愈发明显。
• 对于LU/Cholesky分解，PG-2方案的平均通信周期数显著更少（如12×12块时为31.14周期），远低于网格方案（61.35周期），同时计算周期数相近。
• 在所有块尺寸下，基于射影几何的方案处理器利用率明显高于网格方案，其中PG-2在低通信量与高并行性之间实现了最佳平衡。
• 由于更细粒度的负载分配，性能几乎随块尺寸减小而线性提升，且项目几何方案在总时间与周期效率方面始终优于网格方案。
• 该架构适用于中等规模矩阵，因为每个处理器仅需存储约n²/155个矩阵元素——这在主内存或L1缓存中是可行的，支持使用现成处理器与定制低功耗板实现。