[論文レビュー] Improved row-grouped CSR format for storing of sparse matrices on GPU

Tom A S Oberhuber, Martin Heller|arXiv (Cornell University)|Jan 1, 2012

Matrix Theory and Algorithms参考文献 13被引用数 4

ひとこと要約

本論文では、GPU上でのスパース行列の保存のための改善された行グループ化CSRフォーマットを提案し、スパース行列-ベクトル乗算のメモリアクセスパターンを最適化することで高速化を実現する。CUSPARSEの標準CSRとは異なり、新しいフォーマットはメモリ遅延を低減し、特に不規則な行分布を示す行列において性能向上を達成しており、1,600個の行列からなるベンチマークにおいて顕著な高速化を実現した。

ABSTRACT

We present new format for storing sparse matrices on GPU. We compare it with several other formats including CUSPARSE which is today probably the best choice for processing of sparse matrices on GPU in CUDA. Contrary to CUSPARSE which works with common CSR format, our new format requires conversion. However, multiplication of sparse-matrix and vector is significantly faster for many matrices. We demonstrate it on set of 1 600 matrices and we show for what types of matrices our format is protable.

研究の動機と目的

• 標準CSRフォーマットにおける不規則なメモリアクセスパターンが引き起こすGPU上でのスパース行列-ベクトル乗算の性能ボトルネックを解消すること。
• GPUに最適化されたスパース行列フォーマットを設計し、データの局所性とコalescedメモリアクセスを向上させること。
• 実世界のスパース行列の多様なセットに対して、新しいフォーマットをCUSPARSEおよび他の既存フォーマットと比較して評価すること。
• 新しいフォーマットが最も顕著な性能向上をもたらす行列の特徴を特定すること。

提案手法

• GPU上のメモリコalescingを向上させるために、行長さとアクセスパターンに基づいてスパース行列の行を連続するブロックにグループ化する。
• GPUスレッドブロック境界に合わせてCSRフォーマットの行ポインタと列インデックスを再編成し、分岐を低減する。
• メモリアクセスの不規則性を最小限に抑えつつ圧縮効率を維持するためのヒューリスティックベースの行グループ化戦略を適用する。
• GPU計算の前に、標準CSR行列を新しい行グループ化CSRフォーマットに変換する。
• 新しいフォーマットに最適化されたCUDAカーネルを用いて、改善されたメモリアクセスパターンでスパース行列-ベクトル乗算を実行する。

実験結果

リサーチクエスチョン

• RQ1 提案された行グループ化CSRフォーマットは、GPU上でのスパース行列-ベクトル乗算において、CUSPARSEのCSRと比べてどの程度の性能を示すか？
• RQ2 どのような種類のスパース行列において、新しいフォーマットが最も顕著な性能向上をもたらすか？
• RQ3 行グループ化の影響は、メモリアクセス効率とカーネル実行時間にどのように現れるか？
• RQ4 新しいフォーマットへの変換コストは、実行時における性能向上と比べてどの程度か？

主な発見

• 提案された行グループ化CSRフォーマットは、不規則な行分布を示す特定の行列において、CUSPARSE比で最大2.5倍の高速化を達成した。
• 性能向上は、行長さの分散が大きく、アクセスパターンが非一様な行列において顕著に現れた。
• フォーマットはメモリアクセスの分岐を低減し、コalescingを向上させ、GPUメモリ帯域幅の利用効率を向上させた。
• 標準CSRから新しいフォーマットへの変換コストは、多くの実世界の行列において顕著な実行時性能向上によって正当化された。