[論文レビュー] Adaptive Row-grouped CSR Format for Storing of Sparse Matrices on GPU

Martin Heller, Tomáš Oberhuber|arXiv (Cornell University)|Mar 26, 2012

Matrix Theory and Algorithms被引用数 6

ひとこと要約

本論文は、GPU上でのスパース行列の保存のための適応的ロー・グループ化CSR形式を提案し、非ゼロ要素の分布に基づいて動的に行を可変サイズのチャンクにグループ化することで、行列-ベクトル乗算（SpMV）を最適化する。この手法はメモリコalescingとロードバランスを向上させ、特定の行列（rajat23 や GHS_indef）においては CUSPARSE より最大10倍、CPU CSR より5〜8倍の高速化を達成した。特に回路シミュレーションや最適化問題において顕著な性能向上を示した。

ABSTRACT

We present new adaptive format for storing sparse matrices on GPU. We compare it with several other formats including CUSPARSE which is today probably the best choice for processing of sparse matrices on GPU in CUDA. Contrary to CUSPARSE which works with common CSR format, our new format requires conversion. However, multiplication of sparse-matrix and vector is significantly faster for many atrices. We demonstrate it on set of 1 600 matrices and we show for what types of matrices our format is profitable.

研究の動機と目的

• 不規則なスパース行列構造に起因するGPU上でのSpMV性能のばらつきを解消すること。
• 行長さのばらつきが著しい行列を扱う際、標準的なCSRおよびELLPACK形式の限界を克服すること。
• GPUベースのSpMVにおけるメモリコalescingとロードバランスを向上させるために、行の適応的チャンク化を導入すること。
• 行列の特性に応じてチャンクサイズを動的に調整できるフォーマットを設計し、GPUの利用効率を最大化すること。
• 最先端のフォーマット（CUSPARSE、Hybrid、ロー・グループ化CSR）と比較して、1,600個のスパース行列を対象に優れた性能を示すことを実証すること。

提案手法

• 非ゼロ要素の数に基づいて、スパース行列の行を可変サイズのチャンクに分割し、各チャンクをメモリ上に連続して格納する。
• 非ゼロ値と列インデックスを列優先順に格納することで、GPU上のコalescedグローバルメモリアクセスを可能にする。
• 1つのGPUスレッドを1つのチャンクに割り当て、ワープ間でのチャンク並列処理を実現する。
• スレッドマッピング配列を用いて、各チャンクが属する行を追跡し、各行ごとにチャンク間の部分和の還元を可能にする。
• 各チャンクを並列に処理するカーネルを実装し、列インデックスが現在の行の範囲を超えた時点で早期終了する。
• パラメータ desiredChunkSize を導入し、行列の規則性に応じてパフォーマンスを最適化可能にする—不規則な行列には小さい値、規則的な行列には大きい値を設定する。

実験結果

リサーチクエスチョン

• RQ1 適応的ロー・グループ化CSR形式は、標準的なCSRおよび他のGPU最適化フォーマットと比較して、SpMVパフォーマンスをどのように向上させるか？
• RQ2 どの種類のスパース行列において、適応的ロー・グループ化CSR形式が CUSPARSE や Hybrid、ロー・グループ化CSR 形式を上回るか？
• RQ3 desiredChunkSize パラメータがパフォーマンスに与える影響は何か？また、異なる行列タイプに最適な設定は何か？
• RQ4 従来のフォーマットが性能を発揮できない回路シミュレーションや最適化問題の行列において、新フォーマットは顕著な高速化を達成できるか？
• RQ5 ELLPACKベースの手法と比較して、このフォーマットは人工的ゼロのオーバーヘッドをどの程度低減し、メモリコalescingをどの程度改善するか？

主な発見

• Schenk_AFE 行列では、desiredChunkSize = 32 の場合、18 GFLOPS を達成したのに対し、desiredChunkSize = 1 の場合は11 GFLOPS にとどまった。
• rajat23 行列では、desiredChunkSize = 1 の場合、5.1 GFLOPS を達成し、CPU CSR より11倍、GPU上のCSRより6倍の高速化を実現した。
• 新フォーマットは1,600個の行列のうち1,168個で CUSPARSE を上回り、raj、rajat23、GHS_indef、IBM_EDA などの行列で最大10倍の高速化を達成した。
• 有限差分行列（norrис/torso2 や t2d_q）では、ロー・グループ化CSR形式が新フォーマットのほぼ2倍の速度を記録した。
• Hybrid形式は1,318個の行列で、CUSPARSE は1,358個の行列で新フォーマットを下回ったことから、新フォーマットの広範な優位性が示された。
• パフォーマンスは行列によって顕著に異なることが判明し、特に未知数が数十〜数百程度の小さな行列では、CPU性能が2桁以上優れていた。