[論文レビュー] Efficient Deep Learning Using Non-Volatile Memory Technology

Ahmet Inci, Mehmet Meric Isgenc+1 more|arXiv (Cornell University)|Jun 27, 2022

Ferroelectric and Negative Capacitance Devices被引用数 5

ひとこと要約

本稿では、深層学習ワークロードを対象に、GPUアーキテクチャの最後のレベルキャッシュとしての非揮発性メモリ（NVM）技術——特にSTT-MRAMおよびSOT-MRAM——をモデル化・分析するクロスレイヤーフレームワーク、DeepNVM++を提示する。実際のDLワークロードからのメモリアクセスパターンと回路レベルの特性評価を統合することで、等面積条件下でNVMベースのキャッシュがSRAMに比べ、エネルギー遅延積（EDP）で最大4.7倍低減され、キャッシュ容量が3.3倍向上することを示している。特に大容量キャッシュにおいては、スケーラビリティが顕著に効果を発揮する。

ABSTRACT

Embedded machine learning (ML) systems have now become the dominant platform for deploying ML serving tasks and are projected to become of equal importance for training ML models. With this comes the challenge of overall efficient deployment, in particular low power and high throughput implementations, under stringent memory constraints. In this context, non-volatile memory (NVM) technologies such as STT-MRAM and SOT-MRAM have significant advantages compared to conventional SRAM due to their non-volatility, higher cell density, and scalability features. While prior work has investigated several architectural implications of NVM for generic applications, in this work we present DeepNVM++, a comprehensive framework to characterize, model, and analyze NVM-based caches in GPU architectures for deep learning (DL) applications by combining technology-specific circuit-level models and the actual memory behavior of various DL workloads. DeepNVM++ relies on iso-capacity and iso-area performance and energy models for last-level caches implemented using conventional SRAM and emerging STT-MRAM and SOT-MRAM technologies. In the iso-capacity case, STT-MRAM and SOT-MRAM provide up to 3.8x and 4.7x energy-delay product (EDP) reduction and 2.4x and 2.8x area reduction compared to conventional SRAM, respectively. Under iso-area assumptions, STT-MRAM and SOT-MRAM provide up to 2.2x and 2.4x EDP reduction and accommodate 2.3x and 3.3x cache capacity when compared to SRAM, respectively. We also perform a scalability analysis and show that STT-MRAM and SOT-MRAM achieve orders of magnitude EDP reduction when compared to SRAM for large cache capacities. DeepNVM++ is demonstrated on STT-/SOT-MRAM technologies and can be used for the characterization, modeling, and analysis of any NVM technology for last-level caches in GPUs for DL applications.

研究の動機と目的

• 深層学習ワークロードにおけるメモリボトルneckの増大に伴い、キャッシュ要件が増加する中、パワー、面積、エネルギーの面でSRAMのスケーラビリティに限界があることに対応する。
• 将来のGPUキャッシュとしての非揮発性メモリ（NVM）技術——STT-MRAMおよびSOT-MRAM——の実現可能性を検討し、パワー、パフォーマンス、面積（PPA）の向上を図る。
• 技術、アーキテクチャ、ワークロードの各レイヤーにわたるNVMベースキャッシュのモデル化と分析を包括的に行うフレームワークを構築する。
• NVMのエネルギー効率、面積削減、スケーラビリティの観点から、将来のGPUプラットフォームの設計空間探索を可能にする。

提案手法

• GPUプラットフォーム上で実行される実際の深層学習ワークロードからの詳細なメモリアクセスプロファイルと、STT-MRAMおよびSOT-MRAMの回路レベルモデルを統合する。
• キャッシュ容量と面積の両方を一定とした分析（iso-capacityおよびiso-area分析）を実施し、パフォーマンス、エネルギー、面積の各指標でNVMとSRAMを比較する。
• アーキテクチャレベルのシミュレーションを用いて、キャッシュサイズを変化させた場合のキャッシュ容量およびオフチップメモリアクセスパターンを定量的に評価する。特に等面積条件を重点的に分析する。
• メモリアクセス統計とデバイスレベルの特性評価を自動的に統合し、深層学習ワークロードに与えるシステムレベルの影響を評価する。
• 商業用16nm CMOSプロセスデータとNVMビットセルモデルを活用し、現実的なパフォーマンスおよびエネルギーモデルを実現する。
• 複数のプロセスノード、ワークロード、キャッシュ構成、最適化ターゲットをカバーする複数の設計ポイントをフレームワークを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 等容量条件下で、STT-MRAMおよびSOT-MRAMは、従来のSRAMに比べ、エネルギー遅延積（EDP）、面積、キャッシュ容量の観点からどのように異なるか？
• RQ2 特に大容量キャッシュにおいて、面積を一定に保った場合に、NVMベースの最後のレベルキャッシュがGPUで示すパフォーマンスおよびエネルギーの利点は何か？
• RQ3 キャッシュ容量が増加するに従い、STT-MRAMおよびSOT-MRAMは、SRAMに比べ、パワー、パフォーマンス、面積（PPA）の観点からどの程度スケーリング可能か？
• RQ4 NVMキャッシュによるエネルギーおよび遅延の節約は、SRAMでは実現不可能な新しいオンチップ機能を実現するためにどのように活用できるか？
• RQ5 エネルギーと面積に厳しい制約が課されるモバイルおよびエッジインフェレンスプラットフォームにおいて、NVMベースキャッシュの潜在的価値は何か？

主な発見

• 等容量条件下では、STT-MRAMおよびSOT-MRAMは、それぞれSRAMに比べ最大3.8倍および4.7倍のエネルギー遅延積（EDP）低減を達成する。
• 同じキャッシュ容量下で、STT-MRAMおよびSOT-MRAMは、それぞれSRAMに比べ最大2.4倍および2.8倍の面積削減を実現する。
• 等面積仮定下では、STT-MRAMおよびSOT-MRAMは、SRAMに比べ最大2.3倍および3.3倍の高いキャッシュ容量をサポートする。
• 大容量キャッシュにおいては、STT-MRAMおよびSOT-MRAMはEDPの観点でSRAMを桁違いに上回り、優れたスケーラビリティを示す。
• NVMキャッシュによるエネルギーおよび遅延の節約は、追加のオンチップリソースの実装に再利用可能であり、SRAMでは実現不可能な新しい機能を可能にする。
• 本フレームワークは、非揮発性、高密度、スケーラビリティの観点から、STT-MRAMおよびSOT-MRAMが将来のGPUおよびモバイルアクセラレータ設計にとって極めて有望であることを示している。