[论文解读] Accuracy vs. Efficiency: Achieving Both through FPGA-Implementation Aware Neural Architecture Search

Weiwen Jiang, Xinyi Zhang+5 more|arXiv (Cornell University)|Jan 31, 2019

Advanced Neural Network Applications参考文献 14被引用 7

一句话总结

本文提出FNAS，一种面向FPGA的硬件感知神经架构搜索框架，可联合优化准确率与延迟。通过采用基于区块的抽象建模方法和一种新颖的多FPGA调度范式，FNAS实现了快速延迟估计，并能早期剔除不符合规范的架构，与当前最先进NAS方法相比，搜索速度最高提升11.13倍，且准确率损失低于1%，同时满足严格的时序要求。

ABSTRACT

A fundamental question lies in almost every application of deep neural networks: what is the optimal neural architecture given a specific dataset? Recently, several Neural Architecture Search (NAS) frameworks have been developed that use reinforcement learning and evolutionary algorithm to search for the solution. However, most of them take a long time to find the optimal architecture due to the huge search space and the lengthy training process needed to evaluate each candidate. In addition, most of them aim at accuracy only and do not take into consideration the hardware that will be used to implement the architecture. This will potentially lead to excessive latencies beyond specifications, rendering the resulting architectures useless. To address both issues, in this paper we use Field Programmable Gate Arrays (FPGAs) as a vehicle to present a novel hardware-aware NAS framework, namely FNAS, which will provide an optimal neural architecture with latency guaranteed to meet the specification. In addition, with a performance abstraction model to analyze the latency of neural architectures without training, our framework can quickly prune architectures that do not satisfy the specification, leading to higher efficiency. Experimental results on common data set such as ImageNet show that in the cases where the state-of-the-art generates architectures with latencies 7.81x longer than the specification, those from FNAS can meet the specs with less than 1% accuracy loss. Moreover, FNAS also achieves up to 11.13x speedup for the search process. To the best of the authors' knowledge, this is the very first hardware aware NAS.

研究动机与目标

• 解决现有神经架构搜索（NAS）框架在效率和硬件感知方面的不足。
• 使NAS能够生成满足特定FPGA延迟约束的DNN架构，同时不牺牲准确率。
• 通过在过程中早期剔除违反时序规范的架构，减少搜索时间。
• 开发一种可扩展且准确的延迟估计模型，用于多FPGA系统上不规则、复杂DNN架构的延迟预测。
• 提出一种新颖的调度范式，充分挖掘多FPGA之间的并行性，以提升性能。

提出的方法

• 提出一种基于区块的图模型，用于抽象FPGA映射的DNN架构，捕捉任务粒度、依赖关系和数据访问模式。
• 引入一种性能抽象模型，可在无需完整训练的情况下估计延迟，从而实现对不符合规范架构的早期剔除。
• 设计一种新型多FPGA调度范式，动态调度任务在FPGAs之间的执行，以最大化并行性并减少流水线停顿。
• 通过在任务图中增加额外边，该抽象模型能够捕捉复杂的层间依赖关系，从而实现准确的延迟预测。
• 将硬件感知约束直接集成到搜索过程中，确保仅评估可行的架构。
• 通过执行延迟和流水线停顿的理论分析，指导抽象模型中的延迟估计。

实验结果

研究问题

• RQ1 能否设计一种NAS框架，实现对FPGA上准确率与硬件延迟的联合优化？
• RQ2 如何在不进行完整训练或硬件综合的情况下，对不规则DNN架构实现准确的延迟估计？
• RQ3 何种调度策略能够在最小化流水线停顿和执行时间的同时，高效利用多FPGA资源？
• RQ4 硬件感知剪枝在多大程度上可减少搜索时间，同时保持高准确率？
• RQ5 硬件感知NAS框架能否在极低准确率损失下生成满足严格时序约束的架构？

主要发现

• 与当前最先进NAS相比，FNAS将搜索时间最多减少11.13倍，且在CIFAR-10数据集上观察到最高加速比。
• 对于违反时序规范的架构，NAS生成的模型延迟比目标值高出7.81倍；而FNAS生成的合规模型准确率损失低于1%。
• 在ImageNet数据集上，即使在严格的时序约束下，FNAS的准确率损失也低于1%，展现出优异的准确率-效率权衡能力。
• 所提出的调度器相比固定调度策略，显著减少了多FPGA加速器上的时钟周期数，证明了硬件利用率的提升。
• 随着时序约束的收紧，FNAS的搜索时间进一步减少，这是由于对不可行架构的有效早期剪枝。
• 抽象模型可在无需完整训练的情况下实现准确的延迟估计，使早期阶段的剪枝成为可能且高效。