[論文レビュー] Eva-CiM: A System-Level Energy Evaluation Framework for Computing-in-Memory Architectures.

Di Gao, Dayane Reis+2 more|arXiv (Cornell University)|Jan 27, 2019

Parallel Computing and Optimization Techniques被引用数 3

ひとこと要約

Eva-CiM は、GEM5、McPAT、DESTINY を統合することで、デバイスレベル、メモリレベル、システムレベルのエネルギー推定を正確かつ迅速かつ包括的に行える、計算内処理（CiM）アーキテクチャ向けのシステムレベルエネルギー評価フレームワークである。SRAMベースの CiM では 1.3–6.0×、FeFET-RAM ベースの CiM では 2.0–7.9× のエネルギー削減を実現し、設計空間探索とワークロード固有の最適化を支援する。

ABSTRACT

Computing-in-Memory (CiM) architectures aim to reduce costly data transfers by performing arithmetic and logic operations in memory and hence relieve the pressure due to the memory wall. However, determining whether a given workload can really benefit from CiM, which memory hierarchy and what device technology should be adopted by a CiM architecture requires in-depth study that is not only time consuming but also demands significant expertise in architectures and compilers. This paper presents an energy evaluation framework, Eva-CiM, for systems based on CiM architectures. Eva-CiM encompasses a multi-level (from device to architecture) comprehensive tool chain by leveraging existing modeling and simulation tools such as GEM5, McPAT [2] and DESTINY [3]. To support high-confidence prediction, rapid design space exploration and ease of use, Eva-CiM introduces several novel modeling/analysis approaches including models for capturing memory access and dependency-aware ISA traces, and for quantifying interactions between the host CPU and CiM modules. Eva-CiM can readily produce energy estimates of the entire system for a given program, a processor architecture, and the CiM array and technology specifications. Eva-CiM is validated by comparing with DESTINY [3] and [4], and enables findings including practical contributions from CiM-supported accesses, CiM-sensitive benchmarking as well as the pros and cons of increased memory size for CiM. Eva-CiM also enables exploration over different configurations and device technologies, showing 1.3-6.0X energy improvement for SRAM and 2.0-7.9X for FeFET-RAM, respectively.

研究の動機と目的

• システムレベルのエネルギートレードオフの複雑さのため、実際に CiM アーキテクチャの恩恵を受けるワークロードを特定する課題に対処する。
• 統合的かつ自動化された評価フレームワークを提供することで、CiM システム設計の評価に要する時間と専門知識を削減する。
• 多様な CiM 設定、メモリ階層、デバイス技術 across して正確なエネルギー推定を可能にする。
• 特定のワークロードに最適な CiM アーキテクチャおよび技術選定を導くために、迅速な設計空間探索を支援する。
• メモリサイズとアクセスパターンが CiM のエネルギー効率に与える影響についての洞察を提供する。

提案手法

• プロセッサシミュレーションに GEM5、電力モデリングに McPAT、デバイスレベルモデリングに DESTINY を使用した、統合された多段階シミュレーションスタックを構築する。
• CiM ワークロードにおけるメモリアクセスパターンとデータ依存関係を捉えるために、依存関係を考慮した命令セットアーキテクチャ（ISA）トレースモデルを開発する。
• ホスト CPU と CiM モジュールの共同設計の相互作用をモデル化し、オフロード処理のパフォーマンスおよびエネルギーへの影響を定量的に評価する。
• プロセッサ、メモリ階層、CiM アレイ、デバイス技術を含む、フルシステム構成のエネルギー推定を自動化する。
• 設定可能なシミュレーションパラメータを通じて、デバイス技術（例：SRAM、FeFET-RAM）およびメモリサイズの変動を迅速に探索可能にする。
• 予測値を DESTINY や先行研究と比較して検証することで、信頼性の高いエネルギー推定を確保する。

実験結果

リサーチクエスチョン

• RQ1 どのワークロードおよびアプリケーション特性が、CiM アーキテクチャによる加速によって最も顕著なエネルギー削減をもたらすか？
• RQ2 異なるメモリ階層構成およびメモリサイズは、CiM システムのエネルギー効率にどのように影響するか？
• RQ3 多様なワークロードにおいて、SRAM と FeFET-RAM を使用した CiM アレイの相対的なエネルギー利点は何か？
• RQ4 データ依存関係とメモリアクセスパターンは、CiM オフロードの有効性にどのように影響するか？
• RQ5 ホスト-CiM 間の相互作用と通信オーバーヘッドは、CiM アーキテクチャのエネルギー効率向上をどの程度制限するか？

主な発見

• Eva-CiM は、評価されたワークロード全体で SRAM ベースの CiM アーキテクチャに対して 1.3–6.0× のエネルギー削減を実現した。
• FeFET-RAM ベースの CiM では、エネルギー効率の向上が 2.0–7.9× に達し、低消費電力用途への強力な潜在能力を示した。
• フレームワークは、CiM によるメモリアクセスの実用的貢献を同定し、すべてのワークロードが均等に恩恵を受けるわけではないことを明らかにした。
• CiM アレイ内のメモリサイズの増加は、ある点まではエネルギー効率を向上させるが、最適構成を超えると効果の逓減が観察された。
• CiM 敏銳なベンチマークにより、高いデータ再利用率と規則的なアクセスパターンを示すワークロードが最大のエネルギー削減をもたらすことが判明した。
• ホスト CPU と CiM モジュールの相互作用が、全体のシステムエネルギーに顕著な影響を与えることが示され、共同最適化設計の重要性が強調された。