[论文解读] Eyeriss v2: A Flexible Accelerator for Emerging Deep Neural Networks on Mobile Devices

Yu‐Hsin Chen, Tien-Ju Yang+2 more|arXiv (Cornell University)|Jul 10, 2018

Advanced Neural Network Applications参考文献 40被引用 9

一句话总结

Eyeriss v2 是一款面向移动设备的灵活深度神经网络（DNN）加速器，通过分层网格片上网络和原生压缩域处理，支持紧凑且稀疏的深度神经网络。在 65nm CMOS 工艺下，其推理速度达到每秒 1470.6 次，能效为每焦耳 2560.3 次，相比原始 Eyeriss 在 MobileNet 上的性能，吞吐量提升 12.6 倍，能效提升 2.5 倍。

ABSTRACT

A recent trend in DNN development is to extend the reach of deep learning applications to platforms that are more resource and energy constrained, e.g., mobile devices. These endeavors aim to reduce the DNN model size and improve the hardware processing efficiency, and have resulted in DNNs that are much more compact in their structures and/or have high data sparsity. These compact or sparse models are different from the traditional large ones in that there is much more variation in their layer shapes and sizes, and often require specialized hardware to exploit sparsity for performance improvement. Thus, many DNN accelerators designed for large DNNs do not perform well on these models. In this work, we present Eyeriss v2, a DNN accelerator architecture designed for running compact and sparse DNNs. To deal with the widely varying layer shapes and sizes, it introduces a highly flexible on-chip network, called hierarchical mesh, that can adapt to the different amounts of data reuse and bandwidth requirements of different data types, which improves the utilization of the computation resources. Furthermore, Eyeriss v2 can process sparse data directly in the compressed domain for both weights and activations, and therefore is able to improve both processing speed and energy efficiency with sparse models. Overall, with sparse MobileNet, Eyeriss v2 in a 65nm CMOS process achieves a throughput of 1470.6 inferences/sec and 2560.3 inferences/J at a batch size of 1, which is 12.6x faster and 2.5x more energy efficient than the original Eyeriss running MobileNet. We also present an analysis methodology called Eyexam that provides a systematic way of understanding the performance limits for DNN processors as a function of specific characteristics of the DNN model and accelerator design; it applies these characteristics as sequential steps to increasingly tighten the bound on the performance limits.

研究动机与目标

• 应对由于紧凑且稀疏的神经网络模型兴起，移动设备对高效 DNN 加速日益增长的需求。
• 克服现有加速器的局限性，这些加速器假设固定且较大的 DNN 层形状，缺乏对稀疏性和可变数据重用的支持。
• 设计一种硬件架构，可动态适应现代 DNN 中广泛变化的层维度和形状。
• 实现对稀疏权重和激活值的原生压缩域处理，以提升能效和吞吐量。
• 优化数据流和内存访问模式，以在不同 DNN 工作负载和批量大小下保持高资源利用率。

提出的方法

• 引入一种分层网格网络，可自适应地应对不同 DNN 层类型和形状带来的可变数据重用和带宽需求。
• 实现对稀疏数据的原生压缩域处理，涵盖权重和激活值，避免解压缩开销。
• 采用灵活的数据流映射策略，支持多种数据流模式（WS、OS、IS、行-驻留），并能动态调整以匹配特定层的重用模式。
• 设计一种支持多播和广播的片上网络（NoC），以实现高效的数据分发，平衡重用利用与带宽限制。
• 应用 Eyexam 框架分析并量化不同数据流和处理元素（PE）阵列配置下的性能瓶颈。
• 优化微架构设计，以最小化有限 PE 阵列和物理阵列尺寸带来的性能损失。

实验结果

研究问题

• RQ1 如何在具有高度可变层形状和尺寸的多样化、紧凑且稀疏的 DNN 模型上，保持 DNN 加速器的高性能和高能效？
• RQ2 哪些架构特性可实现对稀疏 DNN 的高效处理，而无需解压缩权重和激活值？
• RQ3 在扩展 PE 阵列并支持低数据重用层时，数据流选择和 NoC 拓扑结构如何影响性能？
• RQ4 灵活的片上网络在多大程度上可缓解因映射碎片化和物理阵列限制导致的性能损失？
• RQ5 在可变结构 DNN 的 NoC 设计中，数据重用利用与带宽效率之间存在何种权衡？

主要发现

• 在批量大小为 1 的 MobileNet 上，Eyeriss v2 实现每秒 1470.6 次推理，每焦耳 2560.3 次推理，相比原始 Eyeriss 实现 12.6 倍的性能提升和 2.5 倍的能效改进。
• 分层网格网络可自适应地支持不同层形状的带宽和重用需求，减少因映射碎片化导致的性能损失。
• 对稀疏权重和激活值的原生压缩域处理消除了解压缩开销，显著提升能效。
• 通过灵活的数据流映射策略，尤其在特征图较小或通道数较少的层中，有效最小化了因有限 PE 阵列和物理阵列尺寸带来的性能损失。
• NoC 设计成功平衡了数据重用利用与带宽交付，即使在低重用场景（如小批量大小的全连接层）下也避免了性能瓶颈。
• Eyexam 框架揭示，单纯增加 PE 数量并不能保证性能提升，因为映射和物理限制会限制刚性数据流架构的可扩展性。