[論文レビュー] Benchmarking a New Paradigm: An Experimental Analysis of a Real Processing-in-Memory Architecture

Juan Gómez-Luna, Izzat El Hajj+4 more|arXiv (Cornell University)|May 9, 2021

Parallel Computing and Optimization Techniques参考文献 234被引用数 50

ひとこと要約

この論文は、実世界のUPMEM PIMアーキテクチャの初の包括的な実験的特性評価を提供し、PrIMベンチマークスイートを導入し、PIMの性能とエネルギーをCPUおよびGPUのベースラインと比較します。

ABSTRACT

Many modern workloads, such as neural networks, databases, and graph processing, are fundamentally memory-bound. For such workloads, the data movement between main memory and CPU cores imposes a significant overhead in terms of both latency and energy. A major reason is that this communication happens through a narrow bus with high latency and limited bandwidth, and the low data reuse in memory-bound workloads is insufficient to amortize the cost of main memory access. Fundamentally addressing this data movement bottleneck requires a paradigm where the memory system assumes an active role in computing by integrating processing capabilities. This paradigm is known as processing-in-memory (PIM). Recent research explores different forms of PIM architectures, motivated by the emergence of new 3D-stacked memory technologies that integrate memory with a logic layer where processing elements can be easily placed. Past works evaluate these architectures in simulation or, at best, with simplified hardware prototypes. In contrast, the UPMEM company has designed and manufactured the first publicly-available real-world PIM architecture. This paper provides the first comprehensive analysis of the first publicly-available real-world PIM architecture. We make two key contributions. First, we conduct an experimental characterization of the UPMEM-based PIM system using microbenchmarks to assess various architecture limits such as compute throughput and memory bandwidth, yielding new insights. Second, we present PrIM, a benchmark suite of 16 workloads from different application domains (e.g., linear algebra, databases, graph processing, neural networks, bioinformatics).

研究の動機と目的

• データ移動ボトルネックを解決するためのPIMパラダイムを動機づける。memory-bound workloads such as neural networks, databases, and graph processing.
• 最初の公表されている実世界のPIMシステム（UPMEM）をマイクロベンチマークと新しいベンチマークスイートを通じて特徴付ける。
• 将来のPIMアーキテクチャとソフトウェアスタックを改善するための実行可能なプログラミングとハードウェア設計の洞察を提供する。

提案手法

• 算術演算とデータ型全体でDPUの計算スループットを測定するマイクロベンチマークを開発する。
• さまざまなアクセスパターンの下で2つのメモリ空間（MRAMとWRAM）の持続帯域を測定する。
• ホスト-CPUからDPUへの相互作用とホスト経由の相互DPUデータ転送に対する持続的なホスト-to-MRAM帯域を評価する。
• 複数のドメインにまたがる16のメモリ境界ワークロードからなるPrIMを作成する（線形代数、データベース、グラフ処理、ニューラルネット、バイオ情報、画像処理）。
• 実世界のUPMEMシステム2台（640および2,556 DPUs）上のPrIMの性能とエネルギーを評価し、CPUおよびGPUのベースラインと比較する。
• マイクロベンチマークとPrIMをコミュニティ利用のために公開する。

実験結果

リサーチクエスチョン

• RQ1 どのワークロードとデータパターンがUPMEM PIMアーキテクチャに最も適しているか？
• RQ2 実世界のPIMハードウェアの主なボトルネックと性能限界は何か（計算制約 vs. メモリ制約）？
• RQ3 DPUs間の通信（ホストCPU経由）はスケーリングとエネルギー効率にどう影響するか？
• RQ4 PrIMワークロードはCPUおよびGPUと比較して速度アップとエネルギー効率の点でどのように性能を示すか？
• RQ5 特徴付け結果に基づいて将来のPIMシステムのためのどのようなプログラミングとアーキテクチャの推奨事項が生まれるか？

主な発見

• UPMEM PIMアーキテクチャは本質的に計算結合であり、複雑な算術演算はメモリ帯域幅がリミッターになる前にパイプラインを飽和させることがある。
• DPUs間通信は直接のDPU-to-DPUチャネルがないためスケーリングが悪い。すべての同期はホストを介してメモリバス経由で行われる。
• PrIMワークロードは、重いDPU間同期や浮動小数点計算を要さず、16ベンチマークのうち13で平均して現代のCPUを上回る。
• 2,556-DPU PIMシステムは、ストリーミングメモリアクセスと軽いDPU間同期のもとでGPUを平均して10ベンチマークで上回り、2.54xのスピードアップ。640-DPUシステムはギャップは小さいが、いくつかのワークロードで依然として縮まる。
• エネルギー消費の傾向は性能と一致しており、多くのワークロードでPIMはCPUおよびGPUに対して大きなエネルギー節約を提供する。
• CPU/GPUと比較して、PIMはメモリ境界ワークロードで顕著な利点を示し、著者は将来のPIMシステムのソフトウェアおよびハードウェア設計を導く推奨事項を提供する。