[论文解读] DNA: Differentiable Network-Accelerator Co-Search

Yong‐An Zhang, Yonggan Fu+6 more|arXiv (Cornell University)|Oct 28, 2020

Advanced Neural Network Applications参考文献 43被引用 16

一句话总结

DNA 提出了一种可微分的网络-加速器协同搜索框架，联合优化深度神经网络（DNN）架构与加速器微架构，以实现最大准确率和硬件效率。通过集成通用加速器设计空间与可微分加速器搜索引擎，DNA 在保持 SOTA 准确率的同时，实现高达 3.04 倍的每秒帧数（FPS）提升，ImageNet 准确率提高 5.46%，同时将搜索时间减少高达 1234.3 倍。

ABSTRACT

Powerful yet complex deep neural networks (DNNs) have fueled a booming demand for efficient DNN solutions to bring DNN-powered intelligence into numerous applications. Jointly optimizing the networks and their accelerators are promising in providing optimal performance. However, the great potential of such solutions have yet to be unleashed due to the challenge of simultaneously exploring the vast and entangled, yet different design spaces of the networks and their accelerators. To this end, we propose DNA, a Differentiable Network-Accelerator co-search framework for automatically searching for matched networks and accelerators to maximize both the task accuracy and acceleration efficiency. Specifically, DNA integrates two enablers: (1) a generic design space for DNN accelerators that is applicable to both FPGA- and ASIC-based DNN accelerators and compatible with DNN frameworks such as PyTorch to enable algorithmic exploration for more efficient DNNs and their accelerators; and (2) a joint DNN network and accelerator co-search algorithm that enables simultaneously searching for optimal DNN structures and their accelerators' micro-architectures and mapping methods to maximize both the task accuracy and acceleration efficiency. Experiments and ablation studies based on FPGA measurements and ASIC synthesis show that the matched networks and accelerators generated by DNA consistently outperform state-of-the-art (SOTA) DNNs and DNN accelerators (e.g., 3.04x better FPS with a 5.46% higher accuracy on ImageNet), while requiring notably reduced search time (up to 1234.3x) over SOTA co-exploration methods, when evaluated over ten SOTA baselines on three datasets. All codes will be released upon acceptance.

研究动机与目标

• 为解决在庞大且高度耦合的设计空间中联合优化 DNN 与加速器的挑战。
• 克服协同优化中非可微分硬件成本与稀疏最优解的局限性。
• 开发一种可扩展、通用的加速器搜索空间，兼容 FPGA 与 ASIC 架构的加速器。
• 通过可微分搜索实现高效、基于梯度的 DNN 与加速器协同设计探索。
• 在保持准确率与吞吐量优于专家设计与工具生成的 SOTA 加速器的同时，显著减少搜索时间。

提出的方法

• 提出一种通用 DNN 加速器设计空间（GADS），适用于 FPGA 与 ASIC 架构的加速器，支持对微架构与映射方法的算法化探索。
• 开发可微分加速器搜索（DAS），一种基于梯度的搜索引擎，相较于强化学习方法，能更高效地导航大规模离散的加速器设计空间。
• 采用联合可微分协同搜索算法，同时优化 DNN 结构与加速器配置，以实现准确率与硬件效率的双重提升。
• 利用可微分操作，使反向传播能够通过离散的架构选择，实现网络与加速器的端到端联合优化。
• 支持与 PyTorch 集成，通过在加速器参数上的可微分搜索实现硬件感知的神经架构搜索。
• 采用 FPGA 测量与 ASIC 综合进行验证，结合搜索空间采样与消融实验，评估性能表现。

实验结果

研究问题

• RQ1 可微分协同搜索框架能否联合优化 DNN 架构与加速器微架构，以最大化准确率与硬件效率？
• RQ2 所提出的可微分加速器搜索（DAS）引擎在导航大规模离散加速器设计空间方面，相较于强化学习或随机搜索方法表现如何？
• RQ3 通用加速器设计空间（GADS）在多大程度上能够实现可扩展、硬件无关的 DNN 与加速器协同设计？
• RQ4 DNA 的协同优化策略如何在显著减少搜索时间的同时，实现准确率与吞吐量优于 SOTA 方法？
• RQ5 DNA 生成的网络与加速器中涌现出哪些架构模式？这些模式如何提升效率与准确率？

主要发现

• DNA 生成的网络与加速器在 ZC706 FPGA 上实现 ImageNet 75.6% 的 top-1 准确率与 42 FPS 的推理速度，优于 SOTA 的 DNN 与加速器。
• 与 SOTA 相比，DNA 在 ImageNet 上将吞吐量提升最高达 3.04 倍，准确率提高 5.46%，同时将搜索时间减少最高达 1234.3 倍。
• 在相同 FPGA 与精度约束下，DAS 引擎在 VGG16 上的吞吐量优于 SOTA 加速器最高达 2.12 倍。
• DNA 生成的加速器采用基于数据块的流水线架构，可自适应不同层的维度特征，浅层并行处理空间维度，深层则采用通道级并行。
• 协同搜索框架发现的网络倾向于更宽、带跳跃连接的架构，通过增加宽度而非深度来提升准确率与硬件效率。
• 消融实验表明，DAS 在搜索效率与最终性能方面均显著优于随机搜索与基于强化学习的方法。