[論文レビュー] Enabling Practical Processing in and near Memory for Data-Intensive Computing

Onur Mutlu, Saugata Ghose+2 more|arXiv (Cornell University)|May 2, 2019

Parallel Computing and Optimization Techniques参考文献 86被引用数 7

ひとこと要約

本論文は、アナログDRAM特性と3次元スタックドメモリ技術を活用することで、データ集積ワークロードにおけるデータ移動エネルギーと遅延を低減する実用的な処理内メモリ（PIM）アーキテクチャを提案する。Tesseractを用いたグラフワークロードでは最大13.8倍の性能向上と87％のエネルギー削減を達成し、軽量なPIM論理を用いた消費者ワークロードでは平均55.4％のエネルギー節約を実現し、低オーバーヘッドでPIMを効率的に導入可能であることを示している。

ABSTRACT

Modern computing systems suffer from the dichotomy between computation on one side, which is performed only in the processor (and accelerators), and data storage/movement on the other, which all other parts of the system are dedicated to. Due to this dichotomy, data moves a lot in order for the system to perform computation on it. Unfortunately, data movement is extremely expensive in terms of energy and latency, much more so than computation. As a result, a large fraction of system energy is spent and performance is lost solely on moving data in a modern computing system. In this work, we re-examine the idea of reducing data movement by performing Processing in Memory (PIM). PIM places computation mechanisms in or near where the data is stored (i.e., inside the memory chips, in the logic layer of 3D-stacked logic and DRAM, or in the memory controllers), so that data movement between the computation units and memory is reduced or eliminated. While the idea of PIM is not new, we examine two new approaches to enabling PIM: 1) exploiting analog properties of DRAM to perform massively-parallel operations in memory, and 2) exploiting 3D-stacked memory technology design to provide high bandwidth to in-memory logic. We conclude by discussing work on solving key challenges to the practical adoption of PIM.

研究の動機と目的

• 現代のデータ集積システムにおけるCPUとメインメモリ間の過剰なデータ移動が引き起こす性能およびエネルギーのボトル neck を解消すること。
• DRAMおよび3次元スタックドメモリ技術の最新の進歩を活用して、PIMを再評価し、実用的かつ効果的なソリューションとしての可能性を検証すること。
• 実世界のワークロードを想定し、面積およびエネルギーオーバーヘッドを最小限に抑えつつ、性能およびエネルギー効率を最大化する実用的なPIMアーキテクチャを設計すること。
• プログラミングモデル、ランタイムサポート、一貫性、仮想メモリ、システムソフトウェア統合といったPIM導入の主な課題を克服すること。
• 大規模なグラフ処理やモバイル消費者アプリケーションを含む多様なワークロードにおいて、PIMの実現可能性と利点を実証すること。

提案手法

• DRAMのアナログ特性を活用し、メモリセル内で大規模並列処理（例：バルクコピー、初期化、ビット単位演算）を直接実行する。
• 3次元スタックドメモリアーキテクチャ（例：HMCに類似した設計）を活用し、DRAMに近接して高帯域幅の論理レイヤーを埋め込み、メモリ内での計算を実現する。
• 消費者ワークロードの一般的な演算（例：memcpy、memset、算術演算、ビット単位演算）に最適化された、軽量なPIM論理（汎用コアまたは固定機能アクセラレータ）を設計する。
• Tesseractを設計し、グラフ処理のためのPIMベースシステムとして、計算集約型の処理（例：頂点の更新）を直接メモリ内にオフロードすることで、データ移動を削減する。
• 現実的なワークロードスイートと正確なシミュレーションを用いて、多様なワークロードおよびシステム構成におけるPIMの性能、エネルギー、スケーラビリティを評価する。
• コンパイラサポート、ランタイムスケジューリング、一貫性プロトコル、PIM対応システムの仮想メモリ拡張を活用して、システムレベルの課題を解決する。

実験結果

リサーチクエスチョン

• RQ1 DRAMのアナログ特性を活用することで、最小限のハードウェア変更で、メモリ内で効率的かつ大規模並列処理を実現できるか？
• RQ2 3次元スタックドメモリ技術を活用することで、データ集積ワークロード向けに高帯域幅かつ低遅延のメモリ内計算を実現できるか？
• RQ3 モバイルデバイスのようなエネルギー制限のあるシステムにおける実用的導入を可能にするために、PIM論理の複雑さ、面積、エネルギーオーバーヘッドの最適なバランスは何か？
• RQ4 PIMは、実世界のグラフ処理および消費者ワークロードにおいて、どれほどデータ移動を削減し、性能およびエネルギー効率を向上させられるか？
• RQ5 多様なアプリケーションにわたり、効率的でスケーラブルかつ透明なPIM利用を可能にするために、どのようなシステムソフトウェアおよびプログラミングモデル拡張が必要か？

主な発見

• Tesseractは、5つの大規模グラフ処理ワークロードにおいて、従来のシステムと比較して平均13.8倍のシステム性能向上と平均87％のエネルギー削減を達成した。
• 消費者ワークロードでは、PIMベースのオフロードにより、4つの広く使われているアプリケーション（Chrome、TensorFlow Mobile、VP9再生、キャプチャ）において、平均で55.4％のシステムエネルギー削減と54.2％の実行時間短縮を達成した。
• PIM論理に必要な面積は、HMCに類似した3次元スタックドメモリアーキテクチャにおける利用可能な論理面積のうち、それぞれ一般用途コアでは最大9.4％、固定機能アクセラレータでは最大35.4％にとどまる。
• memcpy、memset、基本的な算術演算といった単純な演算は、PIMの効果的かつ効率的なターゲットである。なぜなら、これらは実ワークロードで一般的に見られ、最小限のオーバーヘッドでメモリ論理に実装可能だからである。
• PIM論理の統合により、モバイルデバイスにおける総システムエネルギーの62.7％を占めるデータ移動が顕著に削減され、PIMがエネルギー制限のあるシステムにとって重要なソリューションであることが裏付けられた。
• 一貫性、仮想メモリ、プログラミングモデルといったシステムレベルの課題は、ソフトウェアおよびコンパイラの拡張によって解決可能であり、アプリケーションレベルの変更なしに実用的なPIM導入が可能である。