[论文解读] STONNE: A Detailed Architectural Simulator for Flexible Neural Network Accelerators

Francisco Muñoz-Martínez, José Luis Abellán+2 more|arXiv (Cornell University)|Jun 10, 2020

Advanced Neural Network Applications参考文献 14被引用 14

一句话总结

STONNE 是一种周期精确、模块化且可扩展的架构模拟器，用于灵活的DNN推理加速器，支持对完整DNN工作负载的端到端评估。它揭示了MAERI架构的折叠策略导致计算单元利用率极低（平均25%），由于折叠过程中部分和重新分配效率低下，造成高达610%的性能下降。

ABSTRACT

The design of specialized architectures for accelerating the inference procedure of Deep Neural Networks (DNNs) is a booming area of research nowadays. First-generation rigid proposals have been rapidly replaced by more advanced flexible accelerator architectures able to efficiently support a variety of layer types and dimensions. As the complexity of the designs grows, it is more and more appealing for researchers to have cycle-accurate simulation tools at their disposal to allow for fast and accurate design-space exploration, and rapid quantification of the efficacy of architectural enhancements during the early stages of a design. To this end, we present STONNE (Simulation TOol of Neural Network Engines), a cycle-accurate, highly-modular and highly-extensible simulation framework that enables end-to-end evaluation of flexible accelerator architectures running complete contemporary DNN models. We use STONNE to model the recently proposed MAERI architecture and show how it can closely approach the performance results of the publicly available BSV-coded MAERI implementation. Then, we conduct a comprehensive evaluation and demonstrate that the folding strategy implemented for MAERI results in very low compute unit utilization (25% on average across 5 DNN models) which in the end translates into poor performance.

研究动机与目标

• 为下一代灵活DNN推理加速器缺乏详细且开源的模拟器提供解决方案。
• 实现对灵活加速器架构的精确、周期精确的设计空间探索。
• 评估架构选择（尤其是折叠策略）对灵活DNN加速器性能的影响。
• 提供一个模块化且可扩展的框架，支持在定制加速器硬件上对现代DNN模型进行端到端模拟。
• 量化最先进的灵活加速器（如MAERI）中因资源利用率低下导致的性能下降。

提出的方法

• STONNE 是一种周期精确的模拟器，用于建模灵活DNN加速器架构的完整数据流和控制流。
• 支持对完整DNN模型的端到端模拟，包括逐层执行和内存层次结构行为。
• 该框架对计算单元、片上网络（DN和RN）以及数据流模式（如用于处理大层的折叠）进行建模。
• 采用模块化架构，便于扩展以支持新的加速器架构、数据流和内存层次结构。
• STONNE 与现有模型（如MAERI）集成，可与公开的BSV编码实现进行验证，平均周期差异仅为15%。
• 报告性能指标，如乘法器利用率、周期计数以及理论利用率与有效利用率的对比，以量化效率低下问题。

实验结果

研究问题

• RQ1 STONNE 能在多大程度上精确模拟如MAERI等灵活DNN加速器架构的行为？
• RQ2 折叠策略对灵活加速器中计算单元利用率有何影响？
• RQ3 为何MAERI架构尽管理论峰值利用率高，却表现出低性能？
• RQ4 折叠过程中低效的部分和重新分配在多大程度上导致整体加速器性能下降？
• RQ5 STONNE 是否能够有效支持灵活加速器资源利用率优化的设计空间探索？

主要发现

• 当模拟公开的BSV编码MAERI实现时，STONNE 的平均周期差异为15%，验证了其准确性。
• 由于折叠策略的影响，MAERI架构在五个DNN模型上的乘法器平均利用率仅为25%。
• 即使在全带宽（64个元素/周期）条件下，乘法器利用率仍保持较低水平——在CONV1和CONV3等若干层中低于15%。
• 理论峰值利用率远高于有效利用率，部分层的有效利用率甚至低于9%（例如FC7）。
• 由于资源利用率低下和流水线停滞，低效折叠导致的性能下降最高可达610%。
• 折叠过程中乘法器与归约网络之间的依赖关系阻止了流水线执行，严重限制了性能。