[论文解读] Deep Neural Network Approximation for Custom Hardware: Where We've Been, Where We're Going

Erwei Wang, James J. Davis+6 more|arXiv (Cornell University)|Jan 21, 2019

Advanced Neural Network Applications参考文献 144被引用 25

一句话总结

本文全面综述了专用于定制硬件加速器的深度神经网络（DNN）近似技术，重点聚焦于降低计算与内存成本的量化和剪枝方法。其在FPGA和ASIC实现中评估了这些方法的有效性，表明硬件感知的近似技术相比通用处理器可显著提升吞吐量与能效，案例研究显示在异构FPGA-ASIC系统中，吞吐量最高提升4.0倍，能效提升达3.3倍。

ABSTRACT

Deep neural networks have proven to be particularly effective in visual and audio recognition tasks. Existing models tend to be computationally expensive and memory intensive, however, and so methods for hardware-oriented approximation have become a hot topic. Research has shown that custom hardware-based neural network accelerators can surpass their general-purpose processor equivalents in terms of both throughput and energy efficiency. Application-tailored accelerators, when co-designed with approximation-based network training methods, transform large, dense and computationally expensive networks into small, sparse and hardware-efficient alternatives, increasing the feasibility of network deployment. In this article, we provide a comprehensive evaluation of approximation methods for high-performance network inference along with in-depth discussion of their effectiveness for custom hardware implementation. We also include proposals for future research based on a thorough analysis of current trends. This article represents the first survey providing detailed comparisons of custom hardware accelerators featuring approximation for both convolutional and recurrent neural networks, through which we hope to inspire exciting new developments in the field.

研究动机与目标

• 评估并比较面向定制硬件加速的最先进DNN近似方法——量化与剪枝。
• 分析算法近似技术如何与硬件平台协同设计，以提升性能与能效。
• 识别在FPGA与ASIC上部署压缩DNN的关键趋势与挑战。
• 基于当前在硬件感知训练与加速器设计方面的局限性，提出未来研究方向。

提出的方法

• 本文对100余篇近期关于DNN近似的文献进行了系统性综述与对比分析，重点关注量化与剪枝技术。
• 采用屋顶模型（roofline model）评估硬件性能，以识别性能瓶颈及近似可能带来的收益。
• 将近似方法分类为量化（权重量化/激活精度降低）与剪枝（结构简化与权重移除）。
• 研究硬件特定优化，如参数固化、动态算术避免，以及异构FPGA-ASIC集成。
• 通过真实实现评估FPGA（如ESE、Cnvlutin）与ASIC（如Minerva、Google TPU）上的吞吐量与能效。
• 提出一种框架，用于将近似感知训练与定制加速器协同设计，以最大化硬件效率。

实验结果

研究问题

• RQ1 不同量化与剪枝技术如何影响定制硬件加速器在DNN推理中的性能与能效？
• RQ2 在FPGA-ASIC异构系统中，设计灵活性、可重用性与性能之间的权衡是什么？
• RQ3 参数固化与量化权重的片上存储在多大程度上可消除片外内存访问并提升能效？
• RQ4 细粒度剪枝产生的不规则稀疏模式如何影响硬件性能？有哪些硬件机制可缓解此问题？
• RQ5 在协同设计近似感知训练与定制硬件平台方面，关键开放挑战是什么？

主要发现

• 采用Intel嵌入式多芯片互连桥（Embedded Multi-die Interconnect Bridge）的异构FPGA-ASIC系统，在AlexNet上实现的吞吐量最高达FPGA单用设计的4.0倍，能效提升达3.3倍。
• 细粒度剪枝可实现高达9.0倍的压缩率，但在通用处理器（GPP）上常因不规则数据访问模式而无法获得成比例的加速，凸显专用硬件的必要性。
• ESE（FPGA）与Minerva（ASIC）等硬件加速器通过支持稀疏网络中的动态算术操作避免，实现了更高的吞吐量与能效。
• 参数固化——尤其是基于以2为底的对数量化——可消除乘法运算并减少片外内存访问，在某些情况下实现完全片上执行。
• 当结合如二值化与权重量共享等激进近似技术时，定制硬件加速器在吞吐量与能效方面均显著优于通用处理器。
• 可训练缩放因子与自适应剪枝/微调的集成可显著降低设计延迟并提升部署可行性。