[论文解读] A lightweight optimization selection method for Sparse Matrix-Vector Multiplication

Athena Elafrou, Georgios Goumas+1 more|arXiv (Cornell University)|Nov 8, 2015

Parallel Computing and Optimization Techniques参考文献 21被引用 5

一句话总结

本文提出了一种轻量级、架构感知的稀疏矩阵-向量乘法（SpMV）优化选择方法，通过在线性能分析或矩阵结构特征对性能瓶颈进行分类，实现针对特定矩阵和架构的最优优化自动选择。该方法通过精确匹配优化策略与矩阵特定瓶颈，在极少运行时开销下，相较于以架构为中心的方法，在多核平台上实现了29%的性能提升。

ABSTRACT

In this paper, we propose an optimization selection methodology for the ubiquitous sparse matrix-vector multiplication (SpMV) kernel. We propose two models that attempt to identify the major performance bottleneck of the kernel for every instance of the problem and then select an appropriate optimization to tackle it. Our first model requires online profiling of the input matrix in order to detect its most prevailing performance issue, while our second model only uses comprehensive structural features of the sparse matrix. Our method delivers high performance stability for SpMV across different platforms and sparse matrices, due to its application and architecture awareness. Our experimental results demonstrate that a) our approach is able to distinguish and appropriately optimize special matrices in multicore platforms that fall out of the standard class of memory bandwidth bound matrices, and b) lead to a significant performance gain of 29% in a manycore platform compared to an architecture-centric optimization, as a result of the successful selection of the appropriate optimization for the great majority of the matrices. With a runtime overhead equivalent to a couple dozen SpMV operations, our approach is practical for use in iterative numerical solvers of real-life applications.

研究动机与目标

• 解决在多样化架构和稀疏矩阵上缺乏稳定、可移植且低开销的SpMV优化策略的问题。
• 克服现有优化方法存在的平台依赖性、高运行时开销或性能增益不一致的局限性。
• 开发一种自动选择最适配特定矩阵与架构的优化方法，确保性能稳定性和可移植性。
• 将优化选择的运行时成本降至最低，使其适用于迭代数值求解器的实际应用。
• 通过分类性能瓶颈而非直接预测执行时间，实现优化选择与具体优化的解耦。

提出的方法

• 将SpMV优化选择问题建模为分类问题，其中每个类别代表一种独特的性能瓶颈（如内存带宽、负载不均衡、不规则内存访问）。
• 实现一种基于性能分析的分类器，利用微基准测试测量目标架构上的矩阵访问模式和内存行为，以检测主导性能瓶颈。
• 开发一种基于特征的分类器，通过在稀疏矩阵的全面结构特征（如行长度分布和稀疏模式）上离线训练机器学习模型（决策树与朴素贝叶斯），实现瓶颈预测。
• 利用基于性能分析的分类器生成训练数据，使基于特征的分类器能够在无需运行时性能分析的情况下实现高精度瓶颈预测。
• 将每个识别出的瓶颈映射到相应的优化策略（如重排序、格式选择、分块），从而兼容任何针对该瓶颈的优化方法。
• 通过仅需几十次SpMV操作的特征分类器实现极低的运行时开销，使其适用于实际应用场景。

实验结果

研究问题

• RQ1 能否开发一种轻量级、跨平台的方法，自动为给定矩阵和架构选择最有效的SpMV优化？
• RQ2 与直接预测执行时间相比，通过分类性能瓶颈是否能实现更稳定、更可移植的优化选择，适用于多样化的矩阵和平台？
• RQ3 稀疏矩阵的结构特征在多大程度上能高精度预测其性能瓶颈，从而避免昂贵的在线性能分析？
• RQ4 在现代多核与众核平台上，该方法相较于以架构为中心的优化策略，在性能增益和开销方面表现如何？
• RQ5 通过识别主要瓶颈解决后的次要瓶颈，该方法能否扩展以支持增量式或多层次优化？

主要发现

• 所提方法在Intel Xeon Phi众核平台上相较于以架构为中心的优化策略实现了29%的性能增益，证明了通过智能优化选择实现显著性能提升的有效性。
• 在多核平台上，该方法成功识别并优化了非内存带宽受限的特殊矩阵，而这些矩阵常被标准优化策略忽略。
• 基于特征的分类器的运行时开销仅相当于十几次SpMV操作，使其可实用化地集成到迭代数值求解器中。
• 基于性能分析的分类器通过测量矩阵访问特征，有效检测出主导性能瓶颈，从而实现准确的优化映射。
• 基于机器学习的特征分类器，利用性能分析分类器生成的数据进行训练，实现了高精度的瓶颈预测，且无需在线性能分析。
• 通过将瓶颈分类与具体优化解耦，该框架可轻松扩展以支持新优化，而无需重新训练或重构整个系统。