[论文解读] EDEN: Enabling Energy-Efficient, High-Performance Deep Neural Network Inference Using Approximate DRAM

Skanda Koppula, Lois Orosa+5 more|arXiv (Cornell University)|Oct 11, 2019

Ferroelectric and Negative Capacitance Devices被引用 5

一句话总结

EDEN 是一种框架，通过使用降低电压和延迟的近似 DRAM，在保持用户指定的 DNN 准确率的前提下，实现了能效更高、性能更强的深度神经网络（DNN）推理。它结合了针对错误容错的 DNN 微调技术以及将数据类型智能映射到 DRAM 分区的方法，实现了在 CPU、GPU 和加速器上高达 37% 的 DRAM 能耗降低和 17% 的延迟加速。

ABSTRACT

The effectiveness of deep neural networks (DNN) in vision, speech, and language processing has prompted a tremendous demand for energy-efficient high-performance DNN inference systems. Due to the increasing memory intensity of most DNN workloads, main memory can dominate the system's energy consumption and stall time. One effective way to reduce the energy consumption and increase the performance of DNN inference systems is by using approximate memory, which operates with reduced supply voltage and reduced access latency parameters that violate standard specifications. Using approximate memory reduces reliability, leading to higher bit error rates. Fortunately, neural networks have an intrinsic capacity to tolerate increased bit errors. This can enable energy-efficient and high-performance neural network inference using approximate DRAM devices. Based on this observation, we propose EDEN, a general framework that reduces DNN energy consumption and DNN evaluation latency by using approximate DRAM devices, while strictly meeting a user-specified target DNN accuracy. EDEN relies on two key ideas: 1) retraining the DNN for a target approximate DRAM device to increase the DNN's error tolerance, and 2) efficient mapping of the error tolerance of each individual DNN data type to a corresponding approximate DRAM partition in a way that meets the user-specified DNN accuracy requirements. We evaluate EDEN on multi-core CPUs, GPUs, and DNN accelerators with error models obtained from real approximate DRAM devices. For a target accuracy within 1% of the original DNN, our results show that EDEN enables 1) an average DRAM energy reduction of 21%, 37%, 31%, and 32% in CPU, GPU, and two DNN accelerator architectures, respectively, across a variety of DNNs, and 2) an average (maximum) speedup of 8% (17%) and 2.7% (5.5%) in CPU and GPU architectures, respectively, when evaluating latency-bound DNNs.

研究动机与目标

• 解决由内存密集型工作负载引发的 DNN 推理中日益严重的能耗和延迟瓶颈。
• 通过采用降低电压和访问延迟的近似内存，克服商品 DRAM 在高性能 DNN 系统中的局限性。
• 在不牺牲用户定义的准确率目标的前提下，实现近似 DRAM 在真实世界 DNN 加速器中的实际部署。
• 开发一种可推广的框架，根据其错误容错能力将 DNN 数据类型映射到 DRAM 分区。
• 确保在包括 CPU、GPU 和专用 DNN 加速器在内的多种硬件平台上的可靠性与性能提升。

提出的方法

• 使用迭代性能分析，表征 DNN 在不同近似 DRAM 参数（电压和延迟）下的错误容错能力。
• 应用一种新颖的课程式微调机制，在微调过程中逐步提高位错误率，以增强 DNN 对高错误率的容错能力。
• 根据其测量到的错误容错能力，将各个 DNN 数据类型（如权重、激活值）映射到特定的近似 DRAM 分区。
• 优化数据类型到近似 DRAM 区域的映射策略，在满足用户指定准确率目标的同时，最小化能耗和延迟。
• 利用来自 Voltron 和 Flexible-Latency DRAM 的真实 DRAM 错误模型，确保方法的实用性和硬件相关性。
• 通过仿真和真实硬件评估，在多种架构（CPU、GPU、Eyeriss 和 TPU）上集成该框架。

实验结果

研究问题

• RQ1 能否有效利用降低电压和延迟的近似 DRAM 来减少 DNN 推理中的 DRAM 能耗，同时不损害准确率？
• RQ2 如何对 DNN 进行微调，以在引入近似 DRAM 所致的高比特错误率时仍能保持目标准确率？
• RQ3 基于其错误容错能力，将不同 DNN 数据类型映射到不同近似 DRAM 分区的最优策略是什么？
• RQ4 EDEN 在包括 CPU、GPU 和 DNN 加速器在内的多种硬件平台上，能在多大程度上降低能耗和延迟？
• RQ5 该框架在不同最先进的 DNN 模型和不同准确率约束下，其扩展性如何？

主要发现

• 在多个最先进的 DNN 模型上，EDEN 在 CPU 上实现了平均 21% 的 DRAM 能耗降低，在 GPU 上达到 37%，在 Eyeriss 上为 31%，在 TPU 上为 32%。
• 对于延迟受限的 DNN，EDEN 在 CPU 上实现了平均 8%（最高达 17%）的加速，在 GPU 上实现了 2.7%（最高达 5.5%）的加速。
• 课程式微调机制使 DNN 的错误容错能力提升了整整一个数量级，从而可在高比特错误率下实现可靠运行。
• 当使用降低电压和延迟的近似 DRAM 时，EDEN 能够将 DNN 准确率保持在原始模型的 1% 以内。
• 该框架在不同内存技术和硬件平台之间具有良好的泛化能力，持续提升了能效和性能。
• 评估结果证实，微调与智能数据分区映射的结合是实现高能效节省和性能提升的关键。