[论文解读] Improved row-grouped CSR format for storing of sparse matrices on GPU

Tom A S Oberhuber, Martin Heller|arXiv (Cornell University)|Jan 1, 2012

Matrix Theory and Algorithms参考文献 13被引用 4

一句话总结

本文提出了一种用于在GPU上存储稀疏矩阵的改进型行分组CSR格式，通过优化内存访问模式来加速稀疏矩阵-向量乘法。与CUSPARSE的标准CSR格式不同，新格式减少了内存延迟并提升了性能，尤其适用于行分布不规则的矩阵，在1,600个矩阵的基准测试中实现了显著的加速。

ABSTRACT

We present new format for storing sparse matrices on GPU. We compare it with several other formats including CUSPARSE which is today probably the best choice for processing of sparse matrices on GPU in CUDA. Contrary to CUSPARSE which works with common CSR format, our new format requires conversion. However, multiplication of sparse-matrix and vector is significantly faster for many matrices. We demonstrate it on set of 1 600 matrices and we show for what types of matrices our format is protable.

研究动机与目标

• 解决标准CSR格式在GPU上进行稀疏矩阵-向量乘法时因内存访问模式不规则而导致的性能瓶颈。
• 设计一种针对GPU优化的稀疏矩阵格式，以提升数据局部性和合并内存访问。
• 在一系列真实世界稀疏矩阵上，将新格式与CUSPARSE及其他现有格式进行对比评估。
• 识别出新格式在哪些矩阵特征下能提供最大的性能优势。

提出的方法

• 根据行长度和访问模式将稀疏矩阵的行分组为连续块，以提升GPU上的内存合并效果。
• 重新组织CSR格式中的行指针和列索引，使其与GPU线程块边界对齐，减少线程发散。
• 采用基于启发式的行分组策略，在保持压缩效率的同时最小化内存访问不规则性。
• 在GPU计算前将标准CSR矩阵转换为新的行分组CSR格式。
• 使用针对新格式优化的CUDA内核，实现具有更优内存访问模式的稀疏矩阵-向量乘法。

实验结果

研究问题

• RQ1 在GPU上进行稀疏矩阵-向量乘法时，所提出的行分组CSR格式与CUSPARSE的CSR格式相比性能如何？
• RQ2 该新格式在哪些类型的稀疏矩阵上能带来最显著的性能提升？
• RQ3 行分组对内存访问效率和内核执行时间有何影响？
• RQ4 新格式的转换成本与运行时性能收益相比如何？

主要发现

• 所提出的行分组CSR格式在某些行分布不规则的矩阵上，与CUSPARSE相比，稀疏矩阵-向量乘法的性能最高可提升2.5倍。
• 对于行长度方差较大且访问模式非均匀的矩阵，性能提升最为显著。
• 该格式减少了内存访问发散，提升了内存合并效果，从而更好地利用了GPU内存带宽。
• 从标准CSR转换为新格式的开销，通过许多真实世界矩阵的显著运行时性能提升得到了合理化。