[论文解读] Benchmarking High Bandwidth Memory on FPGAs

Zeke Wang, Hongjing Huang+2 more|arXiv (Cornell University)|May 9, 2020

Parallel Computing and Optimization Techniques参考文献 42被引用 5

一句话总结

本论文提出 Shuhai，一种软硬件协同设计的基准测试框架，通过直接连接至 HBM 的 FPGA 引擎，系统性地测量 FPGA 上的高带宽内存（HBM）性能。结果显示，Xilinx Alveo U280 上的 HBM 最高可达 425 GB/s 带宽，但性能受地址映射方式显著影响，延迟达 106.7 ns（而 DDR4 为 73.3 ns），凸显了对内存访问进行精细优化的必要性。

ABSTRACT

FPGAs are starting to be enhanced with High Bandwidth Memory (HBM) as a way to reduce the memory bandwidth bottleneck encountered in some applications and to give the FPGA more capacity to deal with application state. However, the performance characteristics of HBM are still not well specified, especially in the context of FPGAs. In this paper, we bridge the gap between nominal specifications and actual performance by benchmarkingHBM on a state-of-the-art FPGA, i.e., a Xilinx Alveo U280 featuring a two-stack HBM subsystem. To this end, we propose Shuhai, a benchmarking tool that allows us to demystify all the underlying details of HBM on an FPGA. FPGA-based benchmarking should also provide a more accurate picture of HBM than doing so on CPUs/GPUs, since CPUs/GPUs are noisier systems due to their complex control logic and cache hierarchy. Since the memory itself is complex, leveraging custom hardware logic to benchmark inside an FPGA provides more details as well as accurate and deterministic measurements. We observe that 1) HBM is able to provide up to 425GB/s memory bandwidth, and 2) how HBM is used has a significant impact on performance, which in turn demonstrates the importance of unveiling the performance characteristics of HBM so as to select the best approach. As a yardstick, we also applyShuhaito DDR4to show the differences between HBM and DDR4.Shuhai can be easily generalized to other FPGA boards or other generations of memory, e.g., HBM3, and DDR3. We will makeShuhaiopen-source, benefiting the community

研究动机与目标

• 为解决在带宽密集型应用日益增长的背景下，FPGA 上高带宽内存（HBM）缺乏系统性、准确的性能表征问题。
• 通过采用 FPGA 原生方法，克服基于 CPU/GPU 的基准测试方法因缓存层次结构和复杂控制逻辑带来的干扰。
• 揭示 FPGA 上 HBM 性能特征，包括地址映射策略、内存访问延迟及互连行为的影响。
• 提供一个可推广的开源基准测试平台（Shuhai），实现对 FPGA 上 HBM 性能的精确、确定性及低抖动测量。
• 指导 FPGA 开发者选择最优的内存访问模式与配置，以在实际应用中充分发挥 HBM 的潜力。

提出的方法

• Shuhai 采用软硬件协同设计方法，在 FPGA 逻辑中直接嵌入专用基准测试引擎，通过 AXI 接口与 HBM 模块通信。
• 该框架使用可配置的引擎模块，通过控制参数（块大小 B、突发大小 S、写使能 W、事务数量 N）执行内存事务，以测量带宽与延迟。
• 系统性地改变 AXI 通道访问模式（0–31），以测量并比较不同通道与交换结构配置下的延迟与吞吐量。
• 基准测试引擎在三种条件下测量内存访问延迟：页命中、页关闭与页未命中，以分析行缓冲行为的影响。
• 通过将 FPGA 与外部系统噪声（如缓存、操作系统干扰）隔离，Shuhai 实现了确定性与可重复的 HBM 性能测量。
• 该工具通过抽象内存接口与控制逻辑，具备扩展至其他 FPGA 板卡与内存技术（如 HBM3、DDR3）的能力。

实验结果

研究问题

• RQ1 在现代 FPGA（如 Xilinx Alveo U280）上，HBM 实际可实现的内存带宽是多少？
• RQ2 地址映射策略的选择如何影响 HBM 吞吐量？不同访问模式下的性能差异是什么？
• RQ3 FPGA 上 HBM 的端到端内存访问延迟是多少？与传统 DDR4 内存相比如何？
• RQ4 内部 HBM 交换结构（包括微型交换机与通道路由）如何影响访问延迟与性能一致性？
• RQ5 FPGA 基准测试在多大程度上能提供比 CPU/GPU 基准方法更准确、更确定的性能测量？

主要发现

• Xilinx Alveo U280 FPGA 上的 HBM 可实现高达 425 GB/s 的峰值内存带宽，相较于同一板卡上的两个 DDR4 通道提升了约一个数量级。
• 地址映射策略对性能有显著影响，吞吐量因内存地址在 AXI 通道间的分布方式不同而波动达一个数量级。
• HBM 访问延迟为 106.7 ns（页命中时），远高于 DDR4 的 73.3 ns，表明高吞吐量应用必须依赖高吞吐、实时内存事务以充分饱和 HBM 性能。
• 不同 AXI 通道的延迟差异最高达 22 个周期（例如，通道 0 为 55 周期，通道 31 为 77 周期），表明与 HBM 通道的物理距离显著影响性能。
• 同一微型交换机内的 AXI 通道表现出完全相同的访问延迟，证实内部交换机已完全实现，且通道分组具有确定性。
• 基于 FPGA 的基准测试方法消除了缓存干扰与系统噪声，相比 CPU/GPU 方法，能实现更准确、更可靠的性能测量。