[论文解读] Auto-NBA: Efficient and Effective Search Over the Joint Space of Networks, Bitwidths, and Accelerators

Yonggan Fu, Yongan Zhang+3 more|arXiv (Cornell University)|Jun 11, 2021

Advanced Neural Network Applications被引用 6

一句话总结

Auto-NBA 提出了一种可微分的联合搜索框架，用于神经网络、位宽和加速器的联合优化，以最大化准确率与效率。通过引入异构采样和可微分的加速器搜索引擎，该方法克服了内存爆炸、离散加速器设计以及鸡肋问题，实现了 SOTA 水平的性能，相比以往的联合搜索方法，延迟降低 20.9%，准确率提高 0.96%。

ABSTRACT

While maximizing deep neural networks' (DNNs') acceleration efficiency requires a joint search/design of three different yet highly coupled aspects, including the networks, bitwidths, and accelerators, the challenges associated with such a joint search have not yet been fully understood and addressed. The key challenges include (1) the dilemma of whether to explode the memory consumption due to the huge joint space or achieve sub-optimal designs, (2) the discrete nature of the accelerator design space that is coupled yet different from that of the networks and bitwidths, and (3) the chicken and egg problem associated with network-accelerator co-search, i.e., co-search requires operation-wise hardware cost, which is lacking during search as the optimal accelerator depending on the whole network is still unknown during search. To tackle these daunting challenges towards optimal and fast development of DNN accelerators, we propose a framework dubbed Auto-NBA to enable jointly searching for the Networks, Bitwidths, and Accelerators, by efficiently localizing the optimal design within the huge joint design space for each target dataset and acceleration specification. Our Auto-NBA integrates a heterogeneous sampling strategy to achieve unbiased search with constant memory consumption, and a novel joint-search pipeline equipped with a generic differentiable accelerator search engine. Extensive experiments and ablation studies validate that both Auto-NBA generated networks and accelerators consistently outperform state-of-the-art designs (including co-search/exploration techniques, hardware-aware NAS methods, and DNN accelerators), in terms of search time, task accuracy, and accelerator efficiency. Our codes are available at: https://github.com/RICE-EIC/Auto-NBA.

研究动机与目标

• 为解决神经网络、位宽与加速器之间高度耦合但传统上被分别处理的问题。
• 克服在搜索过程中因不同位宽顺序训练导致的内存爆炸与准确率排名偏差问题。
• 通过在搜索过程中实现操作级别的硬件成本估算，解决网络-加速器联合搜索中的鸡肋问题。
• 开发一种可扩展的可微分框架，高效探索网络、位宽与加速器的庞大联合设计空间。
• 在准确率、延迟与搜索效率方面超越现有的联合搜索、硬件感知 NAS 与 DNN 加速器设计。

提出的方法

• 提出一种异构采样策略，通过可微分采样同时更新权重与位宽选择，避免顺序训练，确保准确率排名无偏。
• 采用可微分的加速器搜索引擎，将加速器微架构（如内存层次结构、循环分块、处理阵列大小）建模为连续变量，实现基于梯度的优化。
• 使用联合搜索流水线，以端到端可微分的方式共同优化网络架构、位宽与加速器配置。
• 应用恒定内存采样方案，防止在大规模设计空间中进行联合搜索时发生内存爆炸。
• 在搜索过程中利用理论硬件成本估算，解决网络搜索期间未知最优加速器的鸡肋问题。
• 采用基于帕累托前沿的评估方法，在 DSP 与面积等硬件约束下平衡准确率与推理速度。

实验结果

研究问题

• RQ1 可微分的联合搜索框架能否在不产生禁止性内存或时间开销的前提下，有效同时优化神经网络、位宽与加速器？
• RQ2 如何将加速器设计的离散与不可微分特性整合进可微分的搜索流水线中？
• RQ3 在联合搜索中，异构采样是否在准确率排名与内存效率方面优于顺序采样或均匀采样？
• RQ4 与顺序或部分优化相比，联合优化网络、位宽与加速器在硬件效率与模型准确率方面能提升多少？
• RQ5 所提出的框架在真实 FPGA 与 ASIC 部署中，能否实现优于当前 SOTA 联合搜索与硬件感知 NAS 方法的性能？

主要发现

• 在 CIFAR-100 上，Auto-NBA 在相近面积消耗下相比 NHAS 联合搜索基线，准确率提高 0.96%，延迟降低 20.9%，展现出更优的效率与准确率。
• 异构采样策略实现了无偏的位宽排名与恒定内存使用，优于顺序训练与均匀采样方法。
• Auto-NBA 持续优于顺序优化基线，准确率高出 1.95%，FPS 提升 1.75 倍，凸显理论与实际硬件效率指标之间的差相关性。
• 所搜索的网络在 FPGA 上倾向于选择宽而浅的架构，更有效地利用特征/通道级并行性以提升吞吐量。
• 所搜索的加速器将网络划分为流水线处理的模块，早期层对空间维度进行分块，深层则对通道维度进行分块，以最大化并行性与资源利用率。
• Auto-NBA 在不同 DSP 与面积约束下均展现出可扩展的性能，证明了其对不同硬件规格的鲁棒性与适应性。