[論文レビュー] Synergistic CPU-FPGA Acceleration of Sparse Linear Algebra

Mohammadreza Soltaniyeh, Richard P. Martin+1 more|arXiv (Cornell University)|Apr 29, 2020

Parallel Computing and Optimization Techniques参考文献 52被引用数 5

ひとこと要約

この論文では、最適化されたデータ再編成をCPUにオフロードし、FPGAに構造的なバンドルをストリーミングして高スループットな計算を実現する、共同設計フレームワークREAPを提示する。スケジューリングと計算を分離するための新規中間表現（RIR）を用いることで、REAPは、最先端のCPUライブラリと比較してSpGEMMで3.2倍、コレスキー分解で1.85倍の高速化を達成した。これは、FPGAとCPUのFPU数が同一であっても同様に成立する。

ABSTRACT

This paper describes REAP, a software-hardware approach that enables high performance sparse linear algebra computations on a cooperative CPU-FPGA platform. REAP carefully separates the task of organizing the matrix elements from the computation phase. It uses the CPU to provide a first-pass re-organization of the matrix elements, allowing the FPGA to focus on the computation. We introduce a new intermediate representation that allows the CPU to communicate the sparse data and the scheduling decisions to the FPGA. The computation is optimized on the FPGA for effective resource utilization with pipelining. REAP improves the performance of Sparse General Matrix Multiplication (SpGEMM) and Sparse Cholesky Factorization by 3.2X and 1.85X compared to widely used sparse libraries for them on the CPU, respectively.

研究の動機と目的

• 間接的メモリアクセスと不規則なデータパターンによって引き起こされるスパース線形代数の性能ボトルネックを解消すること。
• FPGAがスパースデータを処理する際の制限を克服するため、複雑なデータ再編成をCPUにオフロードすること。
• スパース行列をストリーミング可能でバンドルベースの形式に変換することで、FPGA上で高スループットでパイプライン化された計算を可能にすること。
• FPGAでのメモリ帯域幅の利用を最大化することで、FPU数が同等のマルチコアCPUですら上回る性能を達成すること。
• 標準化された中間表現（RIR）を用いて、SpGEMM やコレスキー分解といった多様なスパースカーネルに適用可能な汎用的でポータブルなフレームワークを開発すること。

提案手法

• スパース行列データを、メタデータと同じ特徴（例：行または列）を共有する行列要素を含む離散的バンドルとして表現する、新規中間表現であるREAP中間表現（RIR）を導入すること。
• CPUを用いて、標準フォーマット（CSR、COO）からの入力行列をRIRバンドルに再編成し、スケジューリングとデータマーシャリングを実行することで、FPGAでの連続的メモリアクセスを可能にすること。
• FPGAパイプラインを設計し、RIRバンドルをシステリックでパイプライン化された方法で処理することで、豊富なDSPユニットとオンチップメモリを活用し、高スループットな浮動小数点演算を実現すること。
• SpGEMMとコレスキー分解の両方をサポートするため、RIRバンドルを異なる計算パターンと部分結果の蓄積に対応できるように一般化すること。
• コレスキー分解において、スケジューリングの改善とFPGAパイプラインのアイドル時間を削減するために、メタデータのみのバンドルを導入すること。
• CPUとFPGAのワークロードを分離することで、実行の重ね合わせを可能にし、プラットフォーム全体のリソース利用を最大化すること。

実験結果

リサーチクエスチョン

• RQ1 FPGAとCPUのFPU数が同一である場合、協働的なCPU-FPGAアーキテクチャが、マルチコアCPUを上回る性能をスパース線形代数ワークロードで達成できるか。
• RQ2 スパースデータをストリーミング可能でバンドルベースの中間表現に再形式化することで、FPGAのメモリ帯域幅の利用効率と全体的な性能が顕著に向上するか。
• RQ3 CPUベースの事前処理が、スパース行列計算におけるFPGAのアイドル時間をどれほど短縮し、スループットを向上させられるか。
• RQ4 汎用的中間表現（RIR）が、SpGEMM やコレスキー分解といった多様なスパースカーネルの高速化に効果的に使用できるか。
• RQ5 特にFPGAのメモリ帯域幅が高いため、CPUでのデータ再編成によるコストを相殺するのに十分な性能向上が得られるか。

主な発見

• REAPは、FPGAとCPUのFPU数が同一であっても、Intel MKLのシングルスレッドSpGEMM実装に対して、幾何平均で3.2倍の高速化を達成した。
• スパースコレスキー分解において、REAPは1つのCPUコア上で実行されるCHOLMODに対して、幾何平均で1.85倍の高速化を達成した。これは、カーネルの複雑さにもかかわらず顕著な性能向上を示している。
• CPUが複数コアを搭載し、FPGAのFPU数が同等であっても、REAPの性能優位性は維持され、データストリーミングと帯域幅の利用が、性能向上の鍵であることが示された。
• CPUがRIRバンドルにデータを再編成することで、FPGAでの規則的かつ高帯域幅のメモリアクセスパターンが実現され、これが主な性能向上要因となっており、事前処理のコストを上回っている。
• コレスキー分解におけるメタデータのみのバンドルの使用により、スケジューリングの改善とパイプラインの停止時間の短縮が実現され、さらなる性能向上が達成された。
• 結果から、単なるメモリ帯域幅の多さだけでは高性能を達成できないことが明らかになった。FPGAの潜在能力を引き出すには、CPUによる事前処理による効果的なデータ構造化とストリーミングが不可欠である。