[论文解读] HERALD: Optimizing Heterogeneous DNN Accelerators for Edge Devices.

Hyoukjun Kwon, Liangzhen Lai+2 more|arXiv (Cornell University)|Sep 13, 2019

Advanced Neural Network Applications参考文献 33被引用 13

一句话总结

HERALD 是一种针对异构深度神经网络加速器（HDAs）的联合优化框架，通过联合确定硬件划分与层调度以最小化能延积（EDP）。通过利用 DNN 层依赖图的结构特性，它降低了优化复杂度，并在多种工作负载和加速器配置下，相较于单体加速器实现了平均 56.0% 的 EDP 改进。

ABSTRACT

New real time applications such as virtual reality (VR) with multiple sub-tasks (e.g., image segmentation, hand tracking, etc.) based on deep neural networks (DNNs) are emerging. Such applications rely on multiple DNNs for each sub-task with heterogeneity and require to meet target processing rates for each sub-task. Thus, the new compound DNN workload imposes new challenges to accelerator designs in two folds: (1) meeting target processing rate for each DNN for sub-tasks and (2) efficiently processing heterogeneous layers. As a solution, we explore heterogeneous DNN accelerators (HDAs). HDAs consist of multiple accelerator substrates (i.e., sub-accelerators) to support model parallelism that implements different mapping styles to provide adaptivity to heterogeneous DNN layers. However, HDA's performance and energy heavily depend on (1) how we partition hardware resources for sub-accelerators, and (2) how we schedule layers on the sub-accelerators. Therefore, we propose an HDA optimization framework, Herald, which performs co-optimization of hardware partitioning and layer schedluing. Herald exploits the simplicity of dependence graph of DNN layers to reduce the complexity of the problem, which on average requires 9.48 ms per layer on a laptop with i9-9880H processor and 16GB memory. Herald can be utilized both in design time to perform co-optimization (optimizer) and in compile time to perform layer scheduling and report expected latency and energy (cost model/scheduler). In our case studies, co-optimized HDAs with the best EDP Herald identified provided 56.0% EDP improvements with 46.82% latency and 6.3% energy benefits on average across workloads and accelerators we evaluate compared to the best monolithic accelerators for each evaluation setting by deploying two complementary-style sub-accelerators in an HDA.

研究动机与目标

• 解决在虚拟现实等实时边缘应用中，对多个异构 DNN 实现子任务目标处理速率的挑战。
• 克服单体加速器在处理异构 DNN 层时性能与能效低下的问题。
• 联合优化异构 DNN 加速器（HDAs）中的硬件资源划分与层调度，以改善能延积（EDP）。
• 通过轻量级成本模型，实现高效的运行时调度与延迟/能耗估算。

提出的方法

• 提出一种联合优化框架 HERALD，联合确定 HDA 的子加速器资源分配与层调度。
• 利用 DNN 层依赖图的简洁性，降低优化问题的计算复杂度。
• 实现一种设计时优化器，以最小 EDP 为目标，联合优化硬件划分与调度。
• 开发一种编译时成本模型与调度器，基于 HERALD 的联合优化配置预测延迟与能耗。
• 使用基于笔记本电脑的原型评估优化开销，平均每个层耗时 9.48 ms。

实验结果

研究问题

• RQ1 如何在边缘设备的异构 DNN 加速器中，联合优化硬件划分与层调度以最小化 EDP？
• RQ2 与单体设计相比，使用互补风格子加速器对性能与能效的影响如何？
• RQ3 该优化框架在不同 DNN 工作负载与加速器配置下的可扩展性如何？
• RQ4 联合优化过程在时间与资源使用方面的计算开销是多少？

主要发现

• 在所评估的工作负载与配置下，HERALD 相较于最佳单体加速器，平均 EDP 降低 56.0%。
• 联合优化后的 HDA 实现了平均延迟降低 46.82% 和平均能耗降低 6.3%。
• 优化过程在标准笔记本电脑上平均每个层仅需 9.48 ms，适用于设计时使用。
• 该框架通过其成本模型与调度器，实现了对延迟与能耗的精确编译时预测。
• 在 HDA 中使用两个互补风格子加速器，显著提升了对异构 DNN 层的适应性与效率。