[论文解读] EIE: Efficient Inference Engine on Compressed Deep Neural Network

Song Han, Xingyu Liu+5 more|arXiv (Cornell University)|Feb 4, 2016

Advanced Neural Network Applications被引用 140

一句话总结

EIE 是一种专用加速器，直接在经过压缩的稀疏 DNNs 上运行推理，具备权重共享，通过利用激活稀疏性、静态权重稀疏性以及 4 位权重共享，在 CPU/GPU 基线基础上实现显著的能耗和速度提升。

ABSTRACT

State-of-the-art deep neural networks (DNNs) have hundreds of millions of connections and are both computationally and memory intensive, making them difficult to deploy on embedded systems with limited hardware resources and power budgets. While custom hardware helps the computation, fetching weights from DRAM is two orders of magnitude more expensive than ALU operations, and dominates the required power. Previously proposed 'Deep Compression' makes it possible to fit large DNNs (AlexNet and VGGNet) fully in on-chip SRAM. This compression is achieved by pruning the redundant connections and having multiple connections share the same weight. We propose an energy efficient inference engine (EIE) that performs inference on this compressed network model and accelerates the resulting sparse matrix-vector multiplication with weight sharing. Going from DRAM to SRAM gives EIE 120x energy saving; Exploiting sparsity saves 10x; Weight sharing gives 8x; Skipping zero activations from ReLU saves another 3x. Evaluated on nine DNN benchmarks, EIE is 189x and 13x faster when compared to CPU and GPU implementations of the same DNN without compression. EIE has a processing power of 102GOPS/s working directly on a compressed network, corresponding to 3TOPS/s on an uncompressed network, and processes FC layers of AlexNet at 1.88x10^4 frames/sec with a power dissipation of only 600mW. It is 24,000x and 3,400x more energy efficient than a CPU and GPU respectively. Compared with DaDianNao, EIE has 2.9x, 19x and 3x better throughput, energy efficiency and area efficiency.

研究动机与目标

• 动机：由于 DRAM 能耗成本，在嵌入式硬件上部署大型 DNN 所面临的挑战。
• 提出基于压缩的方法（剪枝与权重共享），使大型模型能够适应片上 SRAM。
• 设计一个在经过压缩的网络上直接运行的加速器（EIE），以通过权重共享来加速稀疏矩阵-向量乘法。
• 在多个基准测试中展示相对于 CPU/GPU 的显著能耗和性能提升。

提出的方法

• 使用 interleaved compressed sparse column (CSC) 格式表示带 4 位权重和 4 位索引的压缩 DNN 权重矩阵。
• 通过对权重 W 的行进行交错分布，将网络分布到多个处理单元（PEs），以利用激活稀疏性和静态权重稀疏性。
• 广播非零输入激活，在计算过程中将 4 位权重扩展为 16 位后执行缩放乘累加。
• 实现一个激活队列和 Leading Non-Zero Detection，以平衡负载并实现动态稀疏性利用。
• 提供一个中央控制单元（CCU）和一个分层非零检测网络，以协调计算和数据流。

实验结果

研究问题

• RQ1 通过在专用硬件上直接执行压缩 DNNs 可以获得多少能耗和性能方面的收益？
• RQ2 加速器是否能够在权重共享的同时利用静态权重稀疏性和动态激活稀疏性？
• RQ3 在稀疏、压缩的 DNN 中，哪些设计权衡（数据表示、内存布局、并行化）可以最大化吞吐量和能效？
• RQ4 在多种网络（AlexNet、VGG-16、NeuralTalk/LSTM）上，以压缩模型运行时，EIE 相较于 CPU、GPU 和移动 GPU 基线的对比如何？

主要发现

• 在九个基准测试中，当运行压缩网络且不进行批处理时，EIE 分别比 CPU、GPU 和移动 GPU 提升 189×、13×、307× 的速度。
• 在压缩网络上提供 102 GOPS/s，相当于未压缩网络的 3 TOPS/s，且 AlexNet 的全连接层功耗为 600 mW。
• 与 DaDianNao 相比，EIE 显示出 2.9× 的吞吐量、19× 的能效提升、以及 3× 的面积效率。
• 总体能效提升平均分别达到 24,000×、3,400× 和 2,700×，相对 CPU、GPU 和移动 GPU，原因在于片上 SRAM、稀疏性以及降低的计算量。