[論文レビュー] A Systematic Literature Survey of Sparse Matrix-Vector Multiplication

Jianhua Gao, Bingjie Liu+2 more|arXiv (Cornell University)|Apr 9, 2024

Tensor decomposition and applications被引用数 5

ひとこと要約

この調査は、アプリケーション、フォーマット、アルゴリズム、アーキテクチャにわたる SpMV 最適化技術を体系的にレビューし、長所と短所、未解決の課題を要約する。さらに、包括的な性能評価と今後の方向性を提供する。

ABSTRACT

Sparse matrix-vector multiplication (SpMV) is a crucial computing kernel with widespread applications in iterative algorithms. Over the past decades, research on SpMV optimization has made remarkable strides, giving rise to various optimization contributions. However, the comprehensive and systematic literature survey that introduces, analyzes, discusses, and summarizes the advancements of SpMV in recent years is currently lacking. Aiming to fill this gap, this paper compares existing techniques and analyzes their strengths and weaknesses. We begin by highlighting two representative applications of SpMV, then conduct an in-depth overview of the important techniques that optimize SpMV on modern architectures, which we specifically classify as classic, auto-tuning, machine learning, and mixed-precision-based optimization. We also elaborate on the hardware-based architectures, including CPU, GPU, FPGA, processing in Memory, heterogeneous, and distributed platforms. We present a comprehensive experimental evaluation that compares the performance of state-of-the-art SpMV implementations. Based on our findings, we identify several challenges and point out future research directions. This survey is intended to provide researchers with a comprehensive understanding of SpMV optimization on modern architectures and provide guidance for future work.

研究の動機と目的

• 実世界の問題における SpMV の実用的なアプリケーションと定式化を特定する。
• 既存のスパース圧縮フォーマットと SpMV 最適化技術を調査・分類する。
• アーキテクチャを横断する最先端の SpMV 実装の性能を分析する。
• SpMV 最適化における課題を浮き彫りにし、今後の研究方向を提案する。

提案手法

• SpMV 最適化を4つの軸に分類する：アプリケーション、行列中心のフォーマット、アルゴリズム中心の最適化、アーキテクチャ中心のアプローチ。
• 古典的手法、自動調整、機械学習、混在精度の最適化技術をレビューする。
• 基本的なもの、規則的なスライシング/ブロック化、不規則、ビット/バイト圧縮、ハイブリッドを含むスパース圧縮フォーマットを、例も含めて要約する。
• 包括的な実験を通じて、2つのハードウェアプラットフォームにおける主要実装の SpMV 性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 RQ1：SpMV の実用的なアプリケーションと問題定式化は何か？
• RQ2 RQ2：フォーマット、アルゴリズム、アーキテクチャ全体での SpMV 研究の最新の進展は何か？
• RQ3 RQ3：最新の SpMV 実装は現代のハードウェアでどの程度の性能を発揮するか？
• RQ4 RQ4：現在の SpMV 研究から推察される課題と今後の方向性は何か？
• RQ5 （暗黙の前提） さまざまなフォーマットとアーキテクチャは SpMV の効率性とスケーラビリティにどのように影響するか？

主な発見

• SpMV 最適化は、CPU、GPU、FPGA、PIM、ヘテロジェニアス、分散システム全体で、行列中心のフォーマット、アルゴリズム戦略、アーキテクチャに対応した実装を横断している。
• 基本的な (COO, CSR, ELL, DIA) から、進んだ不規則・ハイブリッドスキームまで、さまざまな圧縮フォーマットが存在し、ストレージ、メモリアクセス、計算のトレードオフが異なる。
• 自動調整と機械学習アプローチは、与えられた行列とハードウェアに対してフォーマットを選択し、パラメータを設定するのに用いられる。
• 混合精度技術は SpMV を高速化する道として議論されている。
• 本調査は主要な SpMV 実装の広範な実験比較を提供し、現在の課題と今後の方向性を論じる。