[论文解读] Benchmarking a New Paradigm: An Experimental Analysis of a Real Processing-in-Memory Architecture

Juan Gómez-Luna, Izzat El Hajj+4 more|arXiv (Cornell University)|May 9, 2021

Parallel Computing and Optimization Techniques参考文献 234被引用 50

一句话总结

本文首次对真实世界的UPMEM PIM架构进行全面的实验表征，并引入PrIM基准套件，比较PIM在性能和能耗方面与CPU和GPU基线的差异。

ABSTRACT

Many modern workloads, such as neural networks, databases, and graph processing, are fundamentally memory-bound. For such workloads, the data movement between main memory and CPU cores imposes a significant overhead in terms of both latency and energy. A major reason is that this communication happens through a narrow bus with high latency and limited bandwidth, and the low data reuse in memory-bound workloads is insufficient to amortize the cost of main memory access. Fundamentally addressing this data movement bottleneck requires a paradigm where the memory system assumes an active role in computing by integrating processing capabilities. This paradigm is known as processing-in-memory (PIM). Recent research explores different forms of PIM architectures, motivated by the emergence of new 3D-stacked memory technologies that integrate memory with a logic layer where processing elements can be easily placed. Past works evaluate these architectures in simulation or, at best, with simplified hardware prototypes. In contrast, the UPMEM company has designed and manufactured the first publicly-available real-world PIM architecture. This paper provides the first comprehensive analysis of the first publicly-available real-world PIM architecture. We make two key contributions. First, we conduct an experimental characterization of the UPMEM-based PIM system using microbenchmarks to assess various architecture limits such as compute throughput and memory bandwidth, yielding new insights. Second, we present PrIM, a benchmark suite of 16 workloads from different application domains (e.g., linear algebra, databases, graph processing, neural networks, bioinformatics).

研究动机与目标

• 推动PIM范式，以解决在神经网络、数据库和图处理等内存带宽受限工作负载中的数据移动瓶颈。
• 通过微基准测试和新的基准套件来表征首个公开可用的真实世界PIM系统（UPMEM）。
• 提供可执行的编程和硬件设计见解，以改进未来的PIM架构及软件栈。

提出的方法

• 开发微基准测试，以测量DPU在不同算术运算和数据类型下的计算吞吐量。
• 在不同访问模式下，测量两个内存空间（MRAM与WRAM）的持续带宽。
• 评估主机与MRAM之间的持续带宽，用于主机-CPU到DPU的交互以及通过主机的DPU间数据传输。
• 创建PrIM，包含跨多个领域（线性代数、数据库、图处理、神经网络、生物信息学、图像处理）的16个记忆带宽受限工作负载的基准套件。
• 在两个真实的UPMEM系统（640和2,556个DPU）上评估PrIM的性能与能耗，并与CPU和GPU基线进行比较。
• 将微基准测试和PrIM向社区开放获取，供使用。

实验结果

研究问题

• RQ1 哪些工作负载和数据模式最适合UPMEM PIM架构？
• RQ2 真实世界PIM硬件的主要瓶颈与性能极限是什么（运算与内存带宽受限？）
• RQ3 通过主机CPU的DPU之间通信如何影响扩展性和能效？
• RQ4 与CPU和GPU相比，PrIM工作负载在加速比和能耗方面的表现如何？
• RQ5 基于表征结果，未来PIM系统在编程与架构方面有哪些建议？

主要发现

• UPMEM PIM 架构本质上是计算受限；复杂算术可以在内存带宽成为瓶颈之前就饱和流水线。
• DPU之间的通信扩展性差，因为没有直接的DPU到DPU通道；所有同步通过主机通过内存总线进行。
• 在16个基准中有13个基准，PrIM工作负载平均性能优于现代CPU，且无需大量DPU间同步或浮点运算。
• 在流式内存访问和较轻DPU间同步的情况下，2,556-DPU PIM系统在10个基准上平均优于GPU，达到2.54x加速；640-DPU系统差距更小，但在某些工作负载上仍有追赶。
• 能耗趋势与性能一致，PIM在许多工作负载上相较于CPU和GPU可实现显著的能量节省。
• 与CPU/GPU相比，PIM在内存带宽受限的工作负载上显示出显著的优势，作者提供了引导未来PIM系统的软件和硬件设计的建议。