[论文解读] Stream: Design Space Exploration of Layer-Fused DNNs on Heterogeneous Dataflow Accelerators

Arne Symons, Linyan Mei+4 more|arXiv (Cornell University)|Dec 20, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出 Stream，一个用于异构多核加速器上层融合深度神经网络（DNN）设计空间探索的开源框架。它实现了跨多种硬件架构的细粒度、深度优先调度，与传统的逐层调度相比，能量延迟积（EDP）最高可降低30倍。

ABSTRACT

As the landscape of deep neural networks evolves, heterogeneous dataflow accelerators, in the form of multi-core architectures or chiplet-based designs, promise more flexibility and higher inference performance through scalability. So far, these systems exploit the increased parallelism by coarsely mapping a single layer at a time across cores, which incurs frequent costly off-chip memory accesses, or by pipelining batches of inputs, which falls short in meeting the demands of latency-critical applications. To alleviate these bottlenecks, this work explores a new fine-grain mapping paradigm, referred to as layer fusion, on heterogeneous dataflow accelerators through a novel design space exploration framework called Stream. Stream captures a wide variety of heterogeneous dataflow architectures and mapping granularities, and implements a memory and communication-aware latency and energy analysis validated with three distinct state-of-the-art hardware implementations. As such, it facilitates a holistic exploration of architecture and mapping, by strategically allocating the workload through constraint optimization. The findings demonstrate that the integration of layer fusion with heterogeneous dataflow accelerators yields up to 2.2x lower energy-delay product in inference efficiency, addressing both energy consumption and latency concerns. The framework is available open-source at: https://github.com/kuleuven-micas/stream.

研究动机与目标

• 解决传统逐层调度在延迟敏感、资源受限的边缘 DNN 推理中的低效问题。
• 实现对层融合 DNN 的调度粒度与硬件架构权衡的系统性探索。
• 提供一个可推广的开源建模框架，用于评估和优化多种多核加速器设计中的调度策略。
• 量化架构异构性与细粒度调度对能量、延迟和内存效率的影响。

提出的方法

• 为多种调度粒度和硬件架构下的层融合 DNN 开发了统一的建模表示方法。
• 实现了快速的细粒度数据依赖生成器，用于建模融合网络中复杂的层间与层内依赖关系。
• 采用基于遗传算法的层-核心分配器，将融合层映射到最优处理核心。
• 集成基于启发式规则的调度器，生成能最小化能量、延迟或内存占用的高效执行序列。
• 利用实测效率数据，将框架在三种最先进的硬件加速器上进行了验证。
• 在7种硬件架构和5个 DNN 上开展了大规模设计空间探索，以识别最优的调度与架构组合。

实验结果

研究问题

• RQ1 与传统的逐层调度相比，层融合 DNN 的细粒度、深度优先调度在能量、延迟和内存效率方面有何影响？
• RQ2 高层次的架构选择（如单核、同构多核或异构多核）在多大程度上影响层融合 DNN 执行的效率？
• RQ3 通用建模框架能否准确预测在多样化加速器设计和调度粒度下的硬件效率？
• RQ4 通过联合优化调度与硬件架构，能量延迟积（EDP）的最大可降低幅度是多少？

主要发现

• Stream 在使用层融合调度的三种最先进的硬件实现上，其预测结果与实测值匹配度极高（误差在5%以内）。
• 对于单核架构，层融合相比逐层调度使能量延迟积降低了2.4倍至4.7倍。
• 同构多核架构在采用层融合后，EDP 比逐层调度提高了10至19倍。
• 异构多核架构相比逐层调度，EDP 最高可降低30.4倍，甚至优于表现最佳的同构设计。
• 对于具有多种层类型的网络，异构架构带来的收益最大；而对于结构均匀的网络（如 SqueezeNet），则改善有限，甚至可能出现性能下降。
• 基于遗传算法的层-核心分配器显著优于手动分配，能有效降低延迟和内存占用。