[论文解读] Co-Exploration of Neural Architectures and Heterogeneous ASIC Accelerator Designs Targeting Multiple Tasks

Lei Yang, Zheyu Yan+7 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Neural Network Applications参考文献 26被引用 12

一句话总结

该论文提出NASAIC，一种协同探索框架，联合优化神经架构搜索（NAS）与异构ASIC加速器设计，适用于边缘设备上的多种AI工作负载。通过利用基于成熟数据流的预定义ASIC模板，NASAIC采用多任务RNN控制器，协同优化深度神经网络（DNN）架构与硬件资源分配，在保持0.76%平均精度损失的同时，确保符合设计规范，相比顺序的NAS-ASIC优化，实现17.77%更低的延迟、2.49倍更少的能耗以及2.32倍更小的面积。

ABSTRACT

Neural Architecture Search (NAS) has demonstrated its power on various AI accelerating platforms such as Field Programmable Gate Arrays (FPGAs) and Graphic Processing Units (GPUs). However, it remains an open problem, how to integrate NAS with Application-Specific Integrated Circuits (ASICs), despite them being the most powerful AI accelerating platforms. The major bottleneck comes from the large design freedom associated with ASIC designs. Moreover, with the consideration that multiple DNNs will run in parallel for different workloads with diverse layer operations and sizes, integrating heterogeneous ASIC sub-accelerators for distinct DNNs in one design can significantly boost performance, and at the same time further complicate the design space. To address these challenges, in this paper we build ASIC template set based on existing successful designs, described by their unique dataflows, so that the design space is significantly reduced. Based on the templates, we further propose a framework, namely NASAIC, which can simultaneously identify multiple DNN architectures and the associated heterogeneous ASIC accelerator design, such that the design specifications (specs) can be satisfied, while the accuracy can be maximized. Experimental results show that compared with successive NAS and ASIC design optimizations which lead to design spec violations, NASAIC can guarantee the results to meet the design specs with 17.77%, 2.49x, and 2.32x reductions on latency, energy, and area and with 0.76% accuracy loss. To the best of the authors' knowledge, this is the first work on neural architecture and ASIC accelerator design co-exploration.

研究动机与目标

• 为解决将神经架构搜索（NAS）与专用集成电路（ASIC）设计相结合的挑战，尽管ASIC在能效和性能方面具有最高优势，但该方向仍属未探索领域。
• 通过基于现有加速器（如Shidiannao、NVDLA和Eyeriss）中已验证的数据流风格，创建一组可重用模板，有效缩小ASIC设计空间。
• 协同优化多个DNN架构与异构ASIC子加速器设计，以支持边缘设备上并发的多任务工作负载，确保满足所有设计规范。
• 开发统一框架，同时确定多个任务下的最优神经架构与硬件资源分配，避免顺序优化带来的次优解。

提出的方法

• NASAIC基于现有成功设计构建ASIC加速器模板库，每个模板由独特数据流定义，从而将设计空间缩减为模板选择与资源分配。
• 设计一种新颖的多任务RNN控制器，联合预测多个DNN的超参数，并在选定模板上分配硬件资源（如处理单元PE、网络-on-chip带宽）。
• 框架集成成本模型，用于估算每种DNN-模板配置的延迟、能耗与面积，实现在设计约束下的高效搜索。
• NASAIC执行神经架构与硬件设计空间的联合探索，确保满足所有用户定义的设计规范（延迟、能耗、面积）。
• 控制器通过强化学习进行训练，以最大化精度，同时遵守硬件约束，奖励函数结合了精度与约束符合度。
• 该框架支持同构与异构加速器配置，支持对不同工作负载探索单一、相同或不同的子加速器。

实验结果

研究问题

• RQ1 协同探索神经架构与ASIC加速器设计，是否能显著提升硬件效率与精度，相比顺序优化？
• RQ2 如何在保留异构工作负载设计灵活性的前提下，有效缩小庞大的ASIC设计空间？
• RQ3 采用异构子加速器（每个针对不同DNN优化）对整体系统性能与能效有何影响？
• RQ4 能否通过统一控制器在共享设计约束下，同时协同优化多个DNN及其对应的硬件加速器？
• RQ5 在性能与精度方面，NASAIC相较于顺序的NAS-ASIC与ASIC-NAS工作流表现如何，特别是在满足设计规范方面？

主要发现

• NASAIC确保了对工作负载W1与W2的所有设计规范（延迟、能耗、面积）的合规性，而顺序的NAS→ASIC优化则导致100%的设计规范违规。
• 对于工作负载W1，NASAIC相比NAS→ASIC方法实现17.77%更低的延迟、2.49倍更少的能耗以及2.32倍更小的面积，仅造成0.76%的平均精度损失。
• 对于工作负载W2，NASAIC相比NAS→ASIC方法将延迟降低30.39%、能耗降低29.58%、面积减少30.85%，同样保持极低的精度损失。
• 尽管ASIC→HW-NAS方法的解决方案更接近设计规范，NASAIC在CIFAR-10上仍实现0.87%更高的精度，且在Nuclei上保持相当的精度。
• 在同构CIFAR-10工作负载（W3）中，NASAIC通过异构加速器实现93.23%的精度——接近NAS基线的94.17%——同时满足所有设计规范；而单个或同构加速器设计因资源受限导致精度更低。
• NASAIC通过在异构子加速器上生成两个不同DNN（精度分别为93.23%与91.11%），支持集成学习，提供了同构或单个加速器无法实现的设计灵活性。