[論文レビュー] A Modern Primer on Processing in Memory

Onur Mutlu, Saugata Ghose+4 more|arXiv (Cornell University)|Dec 5, 2020

Parallel Computing and Optimization Techniques被引用数 27

ひとこと要約

この論文は、現代のコンピューティングシステムにおけるデータ移動に起因する性能、エネルギー、スケーラビリティのボトル neck を解消するための処理内メモリ（PIM）を提案する。3Dスタックドメモリとアナログ型DRAMの特性を活用することで、計算をメモリ内またはその近辺で実行可能とし、2つのアプローチである処理をメモリで行う（PUM）と、メモリ周辺で処理を行う（PNM）により、データ集約的ワークロードにおける顕著な性能向上とエネルギー効率の向上を実現する。

ABSTRACT

This paper discusses recent research that aims to enable computation close to data, an approach we broadly call processing-in-memory (PIM). PIM places computation mechanisms in or near where the data is stored (i.e., inside memory chips or modules, in the logic layer of 3D-stacked memory, in the memory controllers, in storage devices or chips), so that data movement between the computation units and memory/storage units is reduced or eliminated. While the general idea of PIM is not new, we discuss motivating trends in applications as well as memory circuits and technology that greatly exacerbate the need for enabling it in modern computing systems. We examine at least two promising new approaches to designing PIM systems to accelerate important data-intensive applications: (1) processing-using-memory, which exploits fundamental analog operational principles of memory chips to perform massively-parallel operations in-situ in memory, (2) processing-near-memory, which exploits different logic and memory integration technologies (e.g., 3D-stacked memory technology) to place computation logic close to memory circuitry, and thereby enable high-bandwidth, low-energy, and low-latency access to data. In both approaches, we describe and tackle relevant cross-layer research, design, and adoption challenges in devices, architecture, systems, compilers, programming models, and applications. Our focus is on the development of PIM designs that can be adopted in real computing platforms at low cost. We conclude by discussing work on solving key challenges to the practical adoption of PIM. We believe that the shift from a processor-centric to a memory-centric mindset (and infrastructure) remains the largest adoption challenge for PIM, which, once overcome, can unleash a fundamentally energy-efficient, high-performance, and sustainable new way of designing, using, and programming computing systems.

研究の動機と目的

• 現代のコンピューティングシステムにおけるプロセッサとメインメモリ間のデータ移動に起因する、増大する性能、エネルギー、スケーラビリティのボトル neck を解決すること。
• 計算をメモリの近辺または内部に移行する必要性を生じさせる要因としての、データ集約的ワークロード、エネルギー制約、メモリ技術のスケーリング限界といった主要なトレンドを特定すること。
• DRAMのアナログ特性を活用するPUMと、3Dスタックドメモリの論理層を用いるPNMの2つの実用的PIMアプローチを提案・評価すること。
• デバイス、アーキテクチャ、システム、プログラミングモデルの各レイヤーの課題を克服し、将来のプラットフォームにおけるPIMの実用的導入を可能にすること。
• PIMシステムの研究と導入を加速させる基盤リソース（ベンチマーク、シミュレーションツール、プログラミング抽象化）を提供すること。

提案手法

• DRAMセルのアナログ的動作特性を活用することで、最小限のハードウェア変更で、データコピー、初期化、ビット単位演算などの並列処理をメモリ内でする「処理をメモリで行う（PUM）」を導入する。
• RowClone、Ambit、SIMDRAM、Gather-Scatter DRAM、およびIn-DRAMセキュリティプリミティブといったPUM技術を実証し、高い性能とエネルギー効率を達成する。
• 3Dスタックドメモリの論理層を活用した「メモリ周辺で処理を行う（PNM）」を提案し、CPUからの計算負荷を軽減し、データ移動と遅延を削減する。
• 複数の抽象化レベルでPNMを実装する：アプリケーションレベル（例：グラフ処理用Tesseract）、関数レベル（例：モバイルおよびGPUワークロード用）、命令レベル（例：PIM対応命令）。
• PIM最適化ワークロードのためのメモリ整合性、仮想メモリサポート、ランタイムスケジューリング、データ構造設計といったシステムレベルの課題に対処する。
• PIMの利点を推定し、将来の研究とハードウェアプロトタイピングを支援するためのシミュレーションインfraとベンチマークを開発・検証する。

実験結果

リサーチクエスチョン

• RQ1 処理をメモリで行う（PUM）は、DRAMの内在的アナログ特性をどのように活用し、最小限のハードウェア変更で性能とエネルギー効率の向上を達成できるか？
• RQ2 3Dスタックドメモリアーキテクチャにおけるメモリ周辺で処理を行う（PNM）は、多様なワークロードにおいてどれほどデータ移動を削減し、性能とエネルギー効率を向上できるか？
• RQ3 実用的導入を可能にするために、メモリ整合性、仮想メモリサポート、ランタイムスケジューリングといったシステムレベルの課題は、どのようなものか？
• RQ4 プログラミングモデルとコード生成ツールは、PIMハードウェアの複雑さをどのように抽象化し、アプリケーション開発者が透明かつ効率的に利用できるようにするか？
• RQ5 大規模なPIMシステムの評価と開発を的確に支援するには、どのようなベンチマークとシミュレーションフレームワークが必要か？

主な発見

• RowCloneやAmbitといったPUM技術は、DRAMのアナログ挙動を活用することで、メモリコピーおよび初期化といったバルクデータ操作で最大100倍の高速化と90％のエネルギー削減を達成する。
• 3Dスタックドメモリの論理層を用いたメモリ周辺で処理を行う（PNM）は、グラフ処理（Tesseract）で最大4.5倍の高速化と60％のエネルギー削減を実現し、ゲノム解析や時系列処理ワークロードにおいても顕著な向上を示す。
• モバイルワークロードおよびGPUアプリケーション向けの関数レベルPNMアクセラレーションは、最小限のソフトウェア変更で最大2.5倍の性能向上を達成する。
• PIM対応命令（PEI）を用いた命令レベルPNMは、元のソースコードを変更せずとも透明にアクセラレーションを実現でき、GPUワークロードで最大2.1倍の高速化を達成する。
• 分野特化型ベンチマークとシミュレーションインfraの開発により、PIMの利点とオーバーヘッドを的確に推定でき、将来の研究とハードウェア設計を促進する。
• 実際のPIMハードウェアプロトタイプとランタイムサポート（スケジューリングおよびデータマッピング対応など）は、生産環境におけるPIMの検証と導入を加速させるために不可欠である。