[论文解读] EDD: Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions

Yuhong Li, Cong Hao+6 more|arXiv (Cornell University)|May 6, 2020

Advanced Neural Network Applications参考文献 22被引用 9

一句话总结

该论文提出EDD，一种可微分的联合搜索框架，用于同时优化深度神经网络（DNN）架构与硬件实现。通过将DNN搜索变量与硬件参数融合到统一的可微空间中，EDD实现了基于梯度的优化，在性能上达到最先进水平：在GPU上实现1.40倍的推理加速，在FPGA上实现1.45倍的吞吐量提升，优于以往的NAS方法。

ABSTRACT

High quality AI solutions require joint optimization of AI algorithms and their hardware implementations. In this work, we are the first to propose a fully simultaneous, efficient differentiable DNN architecture and implementation co-search (EDD) methodology. We formulate the co-search problem by fusing DNN search variables and hardware implementation variables into one solution space, and maximize both algorithm accuracy and hardware implementation quality. The formulation is differentiable with respect to the fused variables, so that gradient descent algorithm can be applied to greatly reduce the search time. The formulation is also applicable for various devices with different objectives. In the experiments, we demonstrate the effectiveness of our EDD methodology by searching for three representative DNNs, targeting low-latency GPU implementation and FPGA implementations with both recursive and pipelined architectures. Each model produced by EDD achieves similar accuracy as the best existing DNN models searched by neural architecture search (NAS) methods on ImageNet, but with superior performance obtained within 12 GPU-hour searches. Our DNN targeting GPU is 1.40x faster than the state-of-the-art solution reported in Proxyless, and our DNN targeting FPGA delivers 1.45x higher throughput than the state-of-the-art solution reported in DNNBuilder.

研究动机与目标

• 弥合现有NAS方法在搜索过程中将硬件实现视为固定或估计组件的缺陷。
• 在多种平台上实现DNN准确率与硬件性能（延迟、吞吐量、能耗）的同步优化。
• 提出一种统一的可微分公式，将DNN架构与实现变量整合到单一搜索空间中。
• 以极低的搜索成本实现高性能AI解决方案，目标针对低延迟GPU与FPGA加速器。
• 在不同硬件平台（包括GPU、递归FPGA和流水线FPGA架构）上实现良好的泛化能力。

提出的方法

• 通过将DNN架构变量（如卷积核大小、通道扩展）与硬件实现变量（如精度、分块、流水线）合并，构建统一的联合解空间，以形式化联合搜索问题。
• 定义一个复合目标函数，联合优化DNN准确率（通过交叉熵损失）与硬件性能（通过延迟/吞吐量损失），并确保各组成部分可微分。
• 使用可微操作（如Gumbel-Softmax或可微架构权重）实现对融合搜索空间的基于梯度的优化。
• 应用随机梯度下降（SGD）联合更新DNN架构与实现参数，实现高效端到端训练。
• 在可微分框架内支持多种精度格式（如4、8、16、32位）以及硬件特定优化（如内核融合、循环分块、资源复用）。
• 在三个平台（GPU（低延迟）、递归FPGA和流水线FPGA）上验证该方法，搜索过程在12个GPU小时内完成。

实验结果

研究问题

• RQ1 是否能够设计一种完全可微分的联合搜索框架，同时优化DNN架构与硬件实现，以提升准确率与性能？
• RQ2 与独立的NAS与实现流程相比，联合搜索DNN架构与硬件实现对推理延迟与吞吐量有何影响？
• RQ3 所提出的可微分公式在具有不同架构约束的多种硬件平台（如GPU与FPGA）上，其泛化能力如何？
• RQ4 该方法是否能发现准确率与最先进NAS模型相当，但在硬件效率上显著更优的DNN？
• RQ5 在搜索空间中引入硬件感知约束（如精度、资源复用、流水线）对最终模型的性能与效率有何影响？

主要发现

• EDD-Net-1（面向GPU的模型）在Titan RTX上实现11.17毫秒的推理延迟，比Proxyless-GPU模型快1.40倍。
• 在1080 Ti GPU上，EDD-Net-1在保持高准确率的同时，相比MNasNet延迟降低1.6倍，相比FBNet-C延迟降低2.0倍。
• EDD-Net-2（面向递归FPGA加速器的模型）在Xilinx ZCU102上实现7.96毫秒的延迟，优于ProxylessNet（快1.37倍）、FBNet（快1.53倍）和MNasNet（快1.1倍）。
• EDD-Net-3（面向ZC706上流水线FPGA加速器的模型，配备900个DSP），在16位定点精度下，吞吐量比DNNBuilder基线高出1.45倍。
• 所有EDD模型在ImageNet上的Top-1准确率与最先进NAS模型相当，但显著提升了硬件效率。
• 整个联合搜索过程在12个GPU小时内完成，相比传统NAS与实现工作流，展现出极高的效率。