[論文レビュー] Benchmarking High Bandwidth Memory on FPGAs

Zeke Wang, Hongjing Huang+2 more|arXiv (Cornell University)|May 9, 2020

Parallel Computing and Optimization Techniques参考文献 42被引用数 5

ひとこと要約

本論文は、FPGAに直接接続されたFPGAベースのエンジンを用いてHBMの性能を体系的に測定する、ハードウェア・ソフトウェア共同設計のベンチマーキングフレームワーク「Shuhai」を提示する。Xilinx Alveo U280におけるHBMは最大425 GB/sの帯域幅を達成するが、アドレスマッピングや遅延（106.7 ns、DDR4の73.3 nsと比較）によって性能に顕著な差が生じることを明らかにし、メモリアクセス最適化の重要性を強調している。

ABSTRACT

FPGAs are starting to be enhanced with High Bandwidth Memory (HBM) as a way to reduce the memory bandwidth bottleneck encountered in some applications and to give the FPGA more capacity to deal with application state. However, the performance characteristics of HBM are still not well specified, especially in the context of FPGAs. In this paper, we bridge the gap between nominal specifications and actual performance by benchmarkingHBM on a state-of-the-art FPGA, i.e., a Xilinx Alveo U280 featuring a two-stack HBM subsystem. To this end, we propose Shuhai, a benchmarking tool that allows us to demystify all the underlying details of HBM on an FPGA. FPGA-based benchmarking should also provide a more accurate picture of HBM than doing so on CPUs/GPUs, since CPUs/GPUs are noisier systems due to their complex control logic and cache hierarchy. Since the memory itself is complex, leveraging custom hardware logic to benchmark inside an FPGA provides more details as well as accurate and deterministic measurements. We observe that 1) HBM is able to provide up to 425GB/s memory bandwidth, and 2) how HBM is used has a significant impact on performance, which in turn demonstrates the importance of unveiling the performance characteristics of HBM so as to select the best approach. As a yardstick, we also applyShuhaito DDR4to show the differences between HBM and DDR4.Shuhai can be easily generalized to other FPGA boards or other generations of memory, e.g., HBM3, and DDR3. We will makeShuhaiopen-source, benefiting the community

研究の動機と目的

• FPGA上でのHigh Bandwidth Memory（HBM）の性能特性を体系的かつ正確に評価する手法の欠如に応えること。特に帯域幅集約型アプリケーションにおけるHBMの増加する利用を踏まえて。
• キャッシュ階層や複雑な制御論理が混在するCPU/GPUベースのベンチマーキングの制限を克服するため、FPGAネイティブなアプローチを採用すること。
• HBMの性能特性を解明すること。具体的には、アドレスマッピングポリシー、メモリアクセス遅延、インターコネクト動作の影響を含む。
• FPGA上でのHBM性能を正確に、決定論的に、低ジッタで測定可能な汎用的でオープンソースのベンチマーキングプラットフォーム（Shuhai）を提供すること。
• FPGA開発者が実世界のアプリケーションでHBMの潜在能力を最大限に活用できるように、最適なメモリアクセスパターンや構成選択を支援すること。

提案手法

• Shuhaiは、HBMモジュールをAXIインタフェース経由で直接接続するFPGAファブリック内に専用のベンチマーキングエンジンを統合した、ハードウェア・ソフトウェア共同設計アプローチを採用する。
• 構成可能なエンジンモジュールを用いて、ブロックサイズB、バーストサイズS、ライト有効W、トランザクション数Nといった制御パラメータを設定し、帯域幅と遅延を測定する。
• AXIチャネルのアクセスパターン（0–31）を体系的に変化させ、異なるチャネルおよびスイッチ構成における遅延とスループットを測定・比較する。
• メモリアクセス遅延を、ページヒット、ページクローズ、ページミスの3条件で測定し、ローリングバッファの動作に与える影響を分析する。
• 外部システムのノイズ（例：キャッシュ、OS干渉）からFPGAを分離することで、決定論的かつ繰り返し可能なHBM性能測定を実現する。
• メモリインタフェースと制御論理を抽象化することで、他のFPGAボードやメモリ技術（例：HBM3、DDR3）への拡張性を設計に組み込む。

実験結果

リサーチクエスチョン

• RQ1 Xilinx Alveo U280のような最新FPGA上でのHBMの実際の達成可能なメモリ帯域幅はどの程度か？
• RQ2 アドレスマッピングポリシーの選択がHBMスループットに与える影響は何か？さまざまなアクセスパターンにおける性能差は何か？
• RQ3 FPGA上でのHBMのエンドツーエンドメモリアクセス遅延はどの程度か？従来のDDR4メモリと比較するとどうなるか？
• RQ4 内部HBMスイッチアーキテクチャ（ミニスイッチおよびチャネルルーティングを含む）が、アクセス遅延と性能の一様性に与える影響は何か？
• RQ5 FPGAベースのベンチマーキングは、CPU/GPUベースのアプローチと比較して、どれほど正確で決定論的な性能測定を可能にするか？

主な発見

• Xilinx Alveo U280 FPGA上でのHBMは、最大425 GB/sのピークメモリ帯域幅を達成し、同じボード上での2つのDDR4チャネルと比較して1桁の改善を示す。
• アドレスマッピングポリシーは性能に顕著な影響を及ぼし、メモリアドレスのAXIチャネルへの分散方法によってスループットが最大10倍の差を示すことがある。
• HBMアクセス遅延はページヒット時で106.7 nsであり、DDR4の73.3 nsと比較して顕著に高い。これは、高スループットアプリケーションがHBMを効果的に活用するには、高スループットで即時のメモリトランザクションを継続的に行う必要があることを示唆している。
• 異なるAXIチャネル間で遅延に最大22サイクルの差が生じ（例：チャネル0で55サイクル、チャネル31で77サイクル）、HBMチャネルに物理的に近い位置にいるほど性能が向上することを示している。
• 同じミニスイッチに属するAXIチャネルは同一のアクセス遅延を示しており、内部スイッチが完全に実装されており、チャネルグループ化が決定論的であることを確認している。
• FPGAベースのベンチマーキングアプローチにより、キャッシュ干渉やシステムノイズが排除され、CPU/GPUベースの手法よりも正確で信頼性の高い性能測定が可能になった。