[論文レビュー] DeepNVM++: Cross-Layer Modeling and Optimization Framework of Non-Volatile Memories for Deep Learning

Ahmet Inci, Mehmet Meric Isgenc+1 more|arXiv (Cornell University)|Dec 8, 2020

Advanced Memory and Neural Computing参考文献 58被引用数 17

ひとこと要約

DeepNVM++ は、深層学習ワークロードにおける GPU 最終レベルキャッシュ向けに、STT-MRAM および SOT-MRAM のモデル化と最適化を実現するクロスレイヤーフレームワークである。回路レベルの NVM 特性評価と実際の GPU メモリプロファイリングを統合することで、同一面積条件下で最大 4.7× の EDP 減少と SRAM よりも 3.3× 高いキャッシュ容量を達成し、大容量キャッシュにおいては桁違いの改善が得られた。

ABSTRACT

Non-volatile memory (NVM) technologies such as spin-transfer torque magnetic random access memory (STT-MRAM) and spin-orbit torque magnetic random access memory (SOT-MRAM) have significant advantages compared to conventional SRAM due to their non-volatility, higher cell density, and scalability features. While previous work has investigated several architectural implications of NVM for generic applications, in this work we present DeepNVM++, a framework to characterize, model, and analyze NVM-based caches in GPU architectures for deep learning (DL) applications by combining technology-specific circuit-level models and the actual memory behavior of various DL workloads. We present both iso-capacity and iso-area performance and energy analysis for systems whose last-level caches rely on conventional SRAM and emerging STT-MRAM and SOT-MRAM technologies. In the iso-capacity case, STT-MRAM and SOT-MRAM provide up to 3.8x and 4.7x energy-delay product (EDP) reduction and 2.4x and 2.8x area reduction compared to conventional SRAM, respectively. Under iso-area assumptions, STT-MRAM and SOT-MRAM provide up to 2x and 2.3x EDP reduction and accommodate 2.3x and 3.3x cache capacity when compared to SRAM, respectively. We also perform a scalability analysis and show that STT-MRAM and SOT-MRAM achieve orders of magnitude EDP reduction when compared to SRAM for large cache capacities. Our comprehensive cross-layer framework is demonstrated on STT-/SOT-MRAM technologies and can be used for the characterization, modeling, and analysis of any NVM technology for last-level caches in GPUs for DL applications.

研究の動機と目的

• 深層学習ワークロードにおける GPU 最終レベルキャッシュにおける SRAM のスケーラビリティ制限を解決すること。
• GPU アーキテクチャにおける新興 NVM（STT-MRAM および SOT-MRAM）のパワー、パフォーマンス、面積（PPA）トレードオフを評価すること。
• 統一されたモデリングフレームワークを通じて、深層学習ワークロードにおける NVM ベースキャッシュの設計スペース探索を可能にすること。
• 多様な DL ワークロードにおいて、同一容量および同一面積の両条件下での NVM の利点を定量的に評価すること。

提案手法

• STT-MRAM および SOT-MRAM の技術固有の回路レベルモデルを、実際の GPU ワークロードからのメモリアクセスパターンと統合する。
• 同一容量分析のため、実際の GPU プラットフォーム上で DL ワークロード（学習および推論）の広範なメモリプロファイリングを実施する。
• アーキテクチャレベルのシミュレーションを用いて、変動するキャッシュサイズを想定した同一面積分析におけるキャッシュ容量および外部メモリアクセスを推定する。
• メモリ統計をマイクロアーキテクチャおよび回路レベルの分析と自動的に統合し、PPA メトリクスを評価する。
• エネルギー遅延積（EDP）、面積、遅延を、異なるキャッシュ構成における主要なパフォーマンス指標として採用する。
• 広範なキャッシュ容量範囲において NVM と SRAM を比較することで、スケーラビリティ分析を支援する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ワークロードにおいて、同一容量条件下で STT-MRAM および SOT-MRAM は SRAM と比較してエネルギー遅延積（EDP）および面積でどの程度優れているか。
• RQ2 キャッシュ面積が固定されている場合（同一面積）、NVM を使用することで SRAM と比較してどの程度のパフォーマンスおよびエネルギー効率の向上が得られるか。
• RQ3 特に大規模な DL 推論および学習において、キャッシュサイズが増加するに従い、EDP およびキャッシュ容量の面で NVM はどの程度スケーラブルか。
• RQ4 実際の GPU メモリ動作と回路レベルの NVM モデルを統合することで、PPA 評価の正確性はどの程度向上するか。
• RQ5 NVM ベースキャッシュによるエネルギーおよび面積の節約によって、追加のオンチップリソース（処理ユニットや大容量キャッシュなど）を実装する余地はどの程度あるか。

主な発見

• 同一容量条件下では、STT-MRAM および SOT-MRAM はそれぞれ SRAM と比較して最大 3.8× および 4.7× のエネルギー遅延積（EDP）削減を達成した。
• 同じキャッシュ容量で SRAM を置き換える場合、STT-MRAM および SOT-MRAM はそれぞれ 2.4× および 2.8× の面積削減を実現した。
• 同一面積仮定下では、STT-MRAM および SOT-MRAM はそれぞれ SRAM と比較して最大 2× および 2.3× の EDP 減少を達成した。
• SOT-MRAM は同一面積予算下で SRAM より最大 3.3× 高いキャッシュ容量を実現可能であり、STT-MRAM は 2.3× の容量向上を示した。
• 大容量キャッシュにおいて、STT-MRAM および SOT-MRAM は EDP において SRAM を桁違いに上回り、優れたスケーラビリティを示した。
• NVM によるエネルギーおよび遅延の節約は、処理ユニットや大容量キャッシュなどの追加のオンチップリソースの実装に活用可能であり、新たな機能拡張が可能である。