[論文レビュー] The Bitlet Model: Defining a Litmus Test for the Bitwise Processing-in-Memory Paradigm

Kunal Korgaonkar, Ronny Ronen+2 more|arXiv (Cornell University)|Oct 22, 2019

Advanced Memory and Neural Computing参考文献 6被引用数 4

ひとこと要約

Bitletモデルは、スループット、演算複雑度、データアラインメント、エネルギー消費をモデル化することで、処理記憶統合（PIM）ワークロードの性能と効率を評価するパラメータ化された解析フレームワークである。PIMが従来のCPU計算を上回る条件を特定するためのラングストーンテストを定義しており、PIMは演算複雑度（OC）が低く、データ並列性が高いワークロード、特に電力制約下で優れた性能を発揮することが明らかになった。

ABSTRACT

This paper describes an analytical modeling tool called Bitlet that can be used, in a parameterized fashion, to understand the affinity of workloads to processing-in-memory (PIM) as opposed to traditional computing. The tool uncovers interesting trade-offs between operation complexity (cycles required to perform an operation through PIM) and other key parameters, such as system memory bandwidth, data transfer size, the extent of data alignment, and effective memory capacity involved in PIM computations. Despite its simplicity, the model has already proven useful. In the future, we intend to extend and refine Bitlet to further increase its utility.

研究の動機と目的

• 処理記憶統合（PIM）ワークロードの性能と効率を評価するための標準化された解析ツールの欠如に対処すること。
• 特定のワークロードがPIMか従来のCPU/GPUアーキテクチャに適しているかどうかを判断するためのラングストーンテストを定義すること。
• PIMシステムにおける演算複雑度、データアラインメント、メモリ帯域幅、エネルギー効率の間のトレードオフを定量化すること。
• PIM性能が主なアーキテクチャ的・技術的パラメータに対してどのように感度を示すかを可能にするパラメータ化モデルを提供すること。

提案手法

• メモリスタ記憶アレイ内のNOR演算に基づく、行単位でビット逐次処理を行うモデルを用いてPIMスループットをモデル化する。
• 演算複雑度（OC）、メモリアレイ数（MAT）、行数（ROW）、サイクル時間（CT）を考慮したパラメータ化されたスループット式（式1）を導入する。
• 配置およびアラインメントコスト（PAC）をパフォーマンスペナルティ要因として組み込み、アラインメント不良に起因する水平および垂直方向のデータ移動をモデル化する。
• メモリ帯域幅（BW）、データ並列性（DIO）、演算複雑度（OC）に基づくCPUスループットモデルを定義し、直接比較を可能にする。
• PIMとCPUの1回の演算あたりのエネルギー消費を比較するエネルギー効率指標（E^PIMおよびE^CPU）を用い、基本論理演算において特に有効である。
• システム全体のエネルギー予算をモデル化するために、アクティブなメモリアレイ数（MAT）を制限する電力制限を適用する。

実験結果

リサーチクエスチョン

• RQ1 PIMは、スループットおよびエネルギー効率の観点で、どのような条件下で従来のCPUアーキテクチャを上回るのか？
• RQ2 演算複雑度（OC）、データアラインメント（PAC）、メモリ帯域幅（BW）は、PIMとCPUのパフォーマンストレードオフにどのように影響するか？
• RQ3 PIMがCPUを上回らなくなるクロスオーバー・ポイントは何か？ また、MATおよびDIOといったシステムパラメータの変化に伴い、そのポイントはどのように変化するか？
• RQ4 非ゼロの配置およびアラインメントコスト（PAC）は、PIMの有効スループットおよびエネルギー効率にどのように影響するか？
• RQ5 エネルギー効率が低複雑度演算においてどれほどPIMに有利に働くか？ また、OCが増加するにつれてその利点はどのように減少するか？

主な発見

• PIMは、16ビット加算（OC = 144）のような演算複雑度が低い演算において、特にデータアラインメントが最適（PAC = 0）な場合にCPUを上回る性能を示す。
• PAC = 1040の16ビット加算では、PIMスループットは728 GOPSの12％（88 GOPS）に低下し、アラインメントオーバーヘッドに起因する顕著な性能低下が確認された。
• データ入出力サイズ（DIO）が24ビットから48ビットに増加すると、CPUがPIMを上回るクロスオーバー・ポイントはOC ≈ 2500からOC ≈ 5000にシフトし、データサイズに強く依存することが示された。
• 20Wの電力制限下では、PIMは最大1950個のメモリアレイ（MAT）をサポートでき、エネルギー制限によりこの値を超えるとスループットが頭打つ。
• 1ビットNOR演算（OC = 1）では、PIMは0.1pJ、CPUは45pJ（3× E^CPU）を消費し、PIMはエネルギー効率で450倍の優位性を示した。
• OCが7200を超えると、PIMのエネルギー効率優位性は低下し、CPUがより効率的になるため、PIMの高複雑度演算への適性に上限があることが示された。