[论文解读] Efficient Deep Learning Using Non-Volatile Memory Technology

Ahmet Inci, Mehmet Meric Isgenc+1 more|arXiv (Cornell University)|Jun 27, 2022

Ferroelectric and Negative Capacitance Devices被引用 5

一句话总结

本文提出 DeepNVM++，一种跨层框架，用于对非易失性存储器（NVM）技术——特别是 STT-MRAM 和 SOT-MRAM——在 GPU 架构中作为最后一级缓存用于深度学习工作负载进行建模与分析。通过结合电路级表征与真实深度学习工作负载的内存访问模式，研究结果表明，在等面积条件下，基于 NVM 的缓存相比 SRAM 可实现高达 4.7× 的能量延迟积（EDP）降低与 3.3× 的缓存容量提升，尤其在大容量缓存场景下表现出优异的可扩展性。

ABSTRACT

Embedded machine learning (ML) systems have now become the dominant platform for deploying ML serving tasks and are projected to become of equal importance for training ML models. With this comes the challenge of overall efficient deployment, in particular low power and high throughput implementations, under stringent memory constraints. In this context, non-volatile memory (NVM) technologies such as STT-MRAM and SOT-MRAM have significant advantages compared to conventional SRAM due to their non-volatility, higher cell density, and scalability features. While prior work has investigated several architectural implications of NVM for generic applications, in this work we present DeepNVM++, a comprehensive framework to characterize, model, and analyze NVM-based caches in GPU architectures for deep learning (DL) applications by combining technology-specific circuit-level models and the actual memory behavior of various DL workloads. DeepNVM++ relies on iso-capacity and iso-area performance and energy models for last-level caches implemented using conventional SRAM and emerging STT-MRAM and SOT-MRAM technologies. In the iso-capacity case, STT-MRAM and SOT-MRAM provide up to 3.8x and 4.7x energy-delay product (EDP) reduction and 2.4x and 2.8x area reduction compared to conventional SRAM, respectively. Under iso-area assumptions, STT-MRAM and SOT-MRAM provide up to 2.2x and 2.4x EDP reduction and accommodate 2.3x and 3.3x cache capacity when compared to SRAM, respectively. We also perform a scalability analysis and show that STT-MRAM and SOT-MRAM achieve orders of magnitude EDP reduction when compared to SRAM for large cache capacities. DeepNVM++ is demonstrated on STT-/SOT-MRAM technologies and can be used for the characterization, modeling, and analysis of any NVM technology for last-level caches in GPUs for DL applications.

研究动机与目标

• 解决由于缓存需求持续增长以及 SRAM 在功耗、面积和能量方面可扩展性受限，导致深度学习工作负载中内存瓶颈日益严重的问题。
• 探索新兴非易失性存储器（NVM）技术——STT-MRAM 和 SOT-MRAM——在 GPU 最后一级缓存中的可行性，以提升功耗、性能与面积（PPA）表现。
• 开发一个全面的框架，用于在技术、架构与工作负载各层面上对基于 NVM 的缓存进行建模与分析。
• 通过量化 NVM 在能效、面积缩减与可扩展性方面的优势，支持未来 GPU 平台的设计空间探索。

提出的方法

• 将 STT-MRAM 与 SOT-MRAM 的电路级模型与真实 GPU 平台上运行的深度学习工作负载的详细内存访问特征分析相结合。
• 通过等容量与等面积分析，对比 NVM 与 SRAM 在性能、功耗与面积指标上的表现。
• 利用架构级仿真量化缓存容量变化时的缓存容量与访存模式，尤其关注等面积场景。
• 自动整合内存访问统计信息与器件级表征结果，以评估对深度学习工作负载的系统级影响。
• 利用商用 16nm CMOS 工艺数据与 NVM 位单元模型，确保性能与功耗建模的真实性。
• 将该框架应用于多个技术节点、工作负载、缓存配置与优化目标的多种设计点评估。

实验结果

研究问题

• RQ1 在等容量约束下，STT-MRAM 与 SOT-MRAM 相较于传统 SRAM 在能量延迟积（EDP）、面积与缓存容量方面表现如何？
• RQ2 在保持面积不变的前提下，使用基于 NVM 的最后一级缓存对 GPU 的性能与功耗有何提升，特别是在大缓存容量场景下？
• RQ3 随着缓存容量增加，STT-MRAM 与 SOT-MRAM 相较于 SRAM 在 PPA（功耗、性能、面积）方面可扩展性如何？
• RQ4 如何利用 NVM 缓存带来的功耗与延迟节省，以实现当前 SRAM 无法支持的新片上功能？
• RQ5 在对功耗与面积有严格限制的移动与边缘推理平台中，基于 NVM 的缓存具有多大潜力？

主要发现

• 在等容量条件下，STT-MRAM 与 SOT-MRAM 相较于 SRAM 最多可实现 3.8× 与 4.7× 的能量延迟积（EDP）降低。
• 在相同缓存容量下，STT-MRAM 与 SOT-MRAM 分别相较 SRAM 最多减少 2.4× 与 2.8× 的面积。
• 在等面积假设下，STT-MRAM 与 SOT-MRAM 相较于 SRAM 最多可支持 2.3× 与 3.3× 的更高缓存容量。
• 对于大容量缓存，STT-MRAM 与 SOT-MRAM 在 EDP 表现上相较 SRAM 实现数量级的提升，展现出卓越的可扩展性。
• NVM 缓存带来的功耗与延迟节省可被重新分配至更多片上资源，从而实现当前 SRAM 无法支持的新功能。
• 该框架表明，STT-MRAM 与 SOT-MRAM 因其非易失性、高密度与良好可扩展性，对未来的 GPU 与移动加速器设计极具前景。