[論文レビュー] Short reasons for long vectors in HPC CPUs: a study based on RISC-V

Pablo Vizcaíno, Georgios Ieronymakis+4 more|arXiv (Cornell University)|Sep 13, 2023

Parallel Computing and Optimization TechniquesComputer Science参考文献 12被引用数 3

ひとこと要約

本論文では、256個の倍精度要素を1命令あたり処理可能なカスタマイズ可能なベクタユニットを備えたカスタマイズ可能なRISC-Vコアを用いて、非密行列HPCカーネルにおけるベクタ長、メモリ帯域幅、レイテンシの影響を評価している。結果から、より長いベクタ長は、メモリレイテンシに対する耐性を著しく向上させ、1コアでも高帯域幅メモリシステムを効率的に活用できることが示され、密行列線形代数ワークロードを超えた強力なパフォーマンス向上効果が得られる。

ABSTRACT

For years, SIMD/vector units have enhanced the capabilities of modern CPUs in High-Performance Computing (HPC) and mobile technology. Typical commercially-available SIMD units process up to 8 double-precision elements with one instruction. The optimal vector width and its impact on CPU throughput due to memory latency and bandwidth remain challenging research areas. This study examines the behavior of four computational kernels on a RISC-V core connected to a customizable vector unit, capable of operating up to 256 double precision elements per instruction. The four codes have been purposefully selected to represent non-dense workloads: SpMV, BFS, PageRank, FFT. The experimental setup allows us to measure their performance while varying the vector length, the memory latency, and bandwidth. Our results not only show that larger vector lengths allow for better tolerance of limitations in the memory subsystem but also offer hope to code developers beyond dense linear algebra.

研究の動機と目的

• 非密行列HPCカーネルにおけるベクタ長、メモリ帯域幅、メモリレイテンシの影響を性能に与える影響を調査すること。
• FPGAベースのプロトタイプを用いて、実ハードウェア上での長ベクタアーキテクチャ（最大256個の倍精度要素）の利点を評価すること。
• 長ベクタ長を有するベクタ命令により、スカラーや短ベクタコードと比較して、高帯域幅メモリを効率的に活用でき、メモリレイテンシに強く対処できることを実証すること。
• 密行列線形代数を超えるHPCワークロードにおけるハードウェア・ソフトウェア共同最適化のための柔軟な共同設計プラットフォームを提供すること。

提案手法

• FPGAベースのソフトウェア開発車両（FPGA-SDV）を実装し、最大256個の倍精度要素を1命令あたり処理可能なカスタマイズ可能な8ループベクタ処理ユニット（VPU）を備えたRISC-Vスーパースカラコアを統合した。
• システムは、実行時におけるベクタ長（VL）、メモリ帯域幅（1〜64バイト/サイクル）、およびメモリレイテンシ（追加サイクルによる）を設定可能である。
• SpMV、BFS、PageRank、FFTの4つの非密行列HPCカーネルを実装し、さまざまなアーキテクチャパラメータの下でベンチマークを実施した。
• パフォーマンスは、1バイト/サイクルの帯域幅を持つベースラインと比較して実行時間を正規化することで、帯域幅およびレイテンシ条件の下での比較を可能にした。
• 帯域幅制限ツールを用いて、メモリスループットを人工的に制限し、さまざまなシステム帯域幅をシミュレートした。
• 実測値に基づく反復的ハードウェア・ソフトウェアチューニングが可能な共同設計手法を適用した。

実験結果

リサーチクエスチョン

• RQ1 非密行列HPCカーネルにおいて、メモリ帯域幅とレイテンシの異なる条件下でベクタ長を延長すると、パフォーマンスにどのような影響を与えるか？
• RQ2 スカラーや短ベクタ実装と比較して、長ベクタアーキテクチャ（最大256要素）は、メモリレイテンシ耐性をどの程度向上できるか？
• RQ3 1コアに長ベクタユニットを搭載した場合、高帯域幅メモリシステムを効果的に活用できるか？また、パフォーマンスがスケーリングする帯域幅の閾値は何か？
• RQ4 SpMV、BFS、PageRank、FFTのような非密行列カーネルは、異なるベクタ長でメモリ制限下に置かれた場合にどのように振る舞うか？

主な発見

• スカラ実装では、1〜2バイト/サイクルのメモリ帯域幅を超えるとパフォーマンス向上が見られず、メモリリクエストスループットの限界により早期に頭打ちとなった。
• 大規模なベクタ長（例：VL=256）を有するベクタ実装では、高帯域幅環境下で顕著なパフォーマンス向上が得られ、64バイト/サイクルに達するまで実行時間が継続的に改善された。
• より長いベクタ長は、メモリレイテンシに対する耐性を著しく向上させ、レイテンシが増加する条件下でも、スカラコードよりも劣化が小さいことが明らかになった。
• VL=256のベクタコードは、スカラまたは短ベクタ（VL=8）バージョンと比較して、メモリ帯域幅に伴うパフォーマンススケーリングが優れており、メモリシステムの利用効率が優れていることを示した。
• FPGA-SDVプラットフォームにより、アーキテクチャ的トレードオフを正確に実ハードウェアで測定でき、長ベクタがレイテンシ耐性および帯域幅利用効率の両面で向上することを検証した。
• 結果から、大規模なベクタ長を有するベクタアーキテクチャは、伝統的な密行列線形代数を越えた非密行列科学的ワークロードに対しても実用的利点を提供することが示唆された。