[论文解读] Design Automation for Efficient Deep Learning Computing

Song Han, Han Cai+5 more|arXiv (Cornell University)|Apr 24, 2019

Advanced Neural Network Applications参考文献 15被引用 16

一句话总结

本文提出了一种以硬件为中心的AutoML框架，通过强化学习自动化高效深度神经网络的设计，实现神经架构、通道剪枝和混合精度量化算法的自动优化。该方法将设计时间缩短了200倍，与基于规则的人工设计相比，推理速度和能效表现更优，在移动设备上实现1.8倍的推理加速，在边缘加速器上实现1.95倍的延迟降低。

ABSTRACT

Efficient deep learning computing requires algorithm and hardware co-design to enable specialization: we usually need to change the algorithm to reduce memory footprint and improve energy efficiency. However, the extra degree of freedom from the algorithm makes the design space much larger: it's not only about designing the hardware but also about how to tweak the algorithm to best fit the hardware. Human engineers can hardly exhaust the design space by heuristics. It's labor consuming and sub-optimal. We propose design automation techniques for efficient neural networks. We investigate automatically designing specialized fast models, auto channel pruning, and auto mixed-precision quantization. We demonstrate such learning-based, automated design achieves superior performance and efficiency than rule-based human design. Moreover, we shorten the design cycle by 200x than previous work, so that we can afford to design specialized neural network models for different hardware platforms.

研究动机与目标

• 解决高效深度学习模型设计中大规模、非结构化设计空间的挑战，其中算法与硬件协同设计至关重要，但手动探索极为困难。
• 克服基于规则的启发式方法在模型压缩和量化中的局限性，这些方法需要专家知识，且在不同硬件平台上的表现欠佳。
• 实现系统化、自动化的硬件专用神经网络设计，以最小化延迟、能耗和内存占用。
• 通过学习驱动的、可迁移的自动化流水线替代人工调优，降低高效模型设计的成本与时间。

提出的方法

• 采用强化学习（RL）联合优化神经架构、通道剪枝与混合精度量化，利用硬件模拟器的反馈指导搜索过程。
• 引入路径级剪枝与路径级二值化，将神经架构搜索的搜索成本降低两个数量级，实现在ImageNet上的高效搜索。
• 设计一种可微分的CNN模块搜索空间，通过可学习的架构参数（如路径概率）实现模型结构的梯度优化。
• 实现硬件感知量化（HAQ）框架，根据硬件约束（延迟、能耗、内存）动态分配每层的位宽，利用RL在资源预算下优化性能。
• 使用roofline模型解释设计决策，基于目标硬件的操作强度与内存带宽特性指导位宽分配。
• 将训练好的RL策略从一个网络（如MobileNet-V1）迁移到另一个网络（如MobileNet-V2），实现在新模型上快速部署，仅需极少微调。

实验结果

研究问题

• RQ1 自动化、基于学习的设计能否在多样化硬件平台上超越基于规则的启发式方法，构建更高效的深度学习模型？
• RQ2 如何在大规模上高效探索神经架构、剪枝与量化的设计空间，以实现硬件感知的优化？
• RQ3 单个RL智能体在多大程度上能将其学习到的量化策略泛化到不同的神经网络架构？
• RQ4 边缘设备与云加速器的最优量化策略有何差异？硬件反馈能否引导更优的设计决策？
• RQ5 自动化设计能否将设计周期缩短数个数量级，同时保持或提升模型效率？

主要发现

• 所提出的自动化设计框架相比以往工作，将设计周期缩短了200倍以上，实现了对硬件专用模型的快速探索。
• 在移动设备上自动搜索得到的模型比最佳人工设计模型快1.8倍，展现出更优的效率。
• 自动化通道剪枝流水线在安卓手机上实现1.81倍的推理延迟加速，在Titan XP GPU上实现1.43倍加速，且在ImageNet上仅损失0.1%的准确率。
• 硬件感知量化（HAQ）相比固定8位量化，将延迟降低1.4–1.95倍，能耗降低1.9倍，且准确率损失可忽略不计。
• RL智能体的量化策略泛化能力良好：从MobileNet-V1迁移到MobileNet-V2后，性能与直接为新架构搜索的结果相差不足1%。
• roofline模型分析表明，边缘设备倾向于为高内存访问层（如深度可分离卷积）采用更低的位宽，而云加速器由于具备更高的内存带宽，可支持更高的位宽。