[论文解读] Analyzing and enhancing OSKI for sparse matrix-vector multiplication

Kadir Akbudak, Enver Kayaaslan+1 more|arXiv (Cornell University)|Mar 13, 2012

Parallel Computing and Optimization Techniques参考文献 5被引用 13

一句话总结

本文在OSKI框架内，通过1D和2D矩阵划分，提出了针对稀疏矩阵-向量乘法（SpMv）的缓存大小感知的行/列重排序技术。通过增强超图模型（列网和行-列网），这些方法提升了时间局部性，在多种稀疏矩阵上实现了优于现有最先进方案的性能表现。

ABSTRACT

Sparse matrix-vector multiplication (SpMxV) is a kernel operation widely used in iterative linear solvers. The same sparse matrix is multiplied by a dense vector repeatedly in these solvers. Matrices with irregular sparsity patterns make it difficult to utilize cache locality effectively in SpMxV computations. In this work, we investigate single- and multiple-SpMxV frameworks for exploiting cache locality in SpMxV computations. For the single-SpMxV framework, we propose two cache-size-aware top-down row/column-reordering methods based on 1D and 2D sparse matrix partitioning by utilizing the column-net and enhancing the row-column-net hypergraph models of sparse matrices. The multiple-SpMxV framework depends on splitting a given matrix into a sum of multiple nonzero-disjoint matrices so that the SpMxV operation is performed as a sequence of multiple input- and output-dependent SpMxV operations. For an effective matrix splitting required in this framework, we propose a cache-size-aware top-down approach based on 2D sparse matrix partitioning by utilizing the row-column-net hypergraph model. The primary objective in all of the three methods is to maximize the exploitation of temporal locality. We evaluate the validity of our models and methods on a wide range of sparse matrices by performing actual runs through using OSKI. Experimental results show that proposed methods and models outperform state-of-the-art schemes.

研究动机与目标

• 解决由于稀疏模式不规则导致的稀疏矩阵-向量乘法（SpMv）缓存局部性差的挑战。
• 提升SpMv计算中的时间局部性，以优化现代内存层次结构下的性能。
• 设计针对缓存大小约束的高效矩阵重排序与拆分策略。
• 通过真实稀疏矩阵评估并提升OSKI库在迭代线性求解器中的性能。
• 提出新型超图模型（列网和行-列网），以指导最优矩阵划分与重排序。

提出的方法

• 基于列网超图模型，提出一种1D缓存大小感知的自顶向下行/列重排序方法，以提升时间局部性。
• 基于行-列网超图模型，开发一种2D缓存大小感知的自顶向下重排序方法，以在单次SpMv操作中实现更优的局部性。
• 提出一种多SpMv框架，将矩阵拆分为非零元素互不相交的组件，以支持输入和输出依赖的SpMv操作。
• 基于2D划分和行-列网超图模型，设计一种缓存大小感知的自顶向下矩阵拆分策略。
• 将所有方法集成至OSKI库中，以在真实世界稀疏矩阵上评估性能。
• 利用超图划分技术最小化数据移动并最大化重用，同时受缓存大小约束的引导。

实验结果

研究问题

• RQ1 如何设计行和列重排序策略，以在单次SpMv操作中最大化时间局部性？
• RQ2 2D矩阵划分与增强的超图模型在多大程度上能提升SpMv中的缓存利用率？
• RQ3 将矩阵拆分为非零元素互不相交的组件，是否能提升多次SpMv操作的性能？
• RQ4 在重排序与拆分中引入缓存大小感知机制，对不同类型稀疏矩阵的性能影响如何？
• RQ5 与现有最先进方案相比，所提方法在性能与可扩展性方面表现如何？

主要发现

• 所提出的1D与2D缓存大小感知重排序方法在单次SpMv操作中显著提升了时间局部性。
• 行-列网超图模型实现了更有效的2D划分，相比传统模型带来了更好的缓存利用率。
• 结合非零元素互不相交矩阵拆分的多SpMv框架，减少了数据移动，提升了大规模稀疏矩阵的性能。
• 所有所提方法在执行时间与缓存效率方面均优于现有最先进方案。
• 在广泛稀疏矩阵上的实验评估证实，各类矩阵类型与尺寸下均实现了稳定的性能提升。
• 集成至OSKI的实验证明了其实际有效性，性能提升在多种测试矩阵的真实运行中得到验证。