[论文解读] Heterogeneous Bitwidth Binarization in Convolutional Neural Networks

Josh Fromm, Shwetak Patel+1 more|arXiv (Cornell University)|May 25, 2018

Neural Networks and Applications参考文献 13被引用 15

一句话总结

本文提出异构位宽神经网络（HBNNs），其中卷积神经网络（CNN）中的单个参数可具有不同的位宽（例如1、2或3位），从而实现分数平均位宽。通过在训练过程中采用‘由中及外’的位宽选择策略，HBNNs在平均位宽降低至1.4位的同时，实现了与同质2位网络相当的准确率，显著提升了FPGA和ASIC硬件上的能效与面积效率。

ABSTRACT

Recent work has shown that fast, compact low-bitwidth neural networks can be surprisingly accurate. These networks use homogeneous binarization: all parameters in each layer or (more commonly) the whole model have the same low bitwidth (e.g., 2 bits). However, modern hardware allows efficient designs where each arithmetic instruction can have a custom bitwidth, motivating heterogeneous binarization, where every parameter in the network may have a different bitwidth. In this paper, we show that it is feasible and useful to select bitwidths at the parameter granularity during training. For instance a heterogeneously quantized version of modern networks such as AlexNet and MobileNet, with the right mix of 1-, 2- and 3-bit parameters that average to just 1.4 bits can equal the accuracy of homogeneous 2-bit versions of these networks. Further, we provide analyses to show that the heterogeneously binarized systems yield FPGA- and ASIC-based implementations that are correspondingly more efficient in both circuit area and energy efficiency than their homogeneous counterparts.

研究动机与目标

• 为解决同质二值化效率低下的问题，即所有参数使用相同低比特位宽，尽管现代硬件支持每个参数的可变位宽。
• 探究在训练过程中为单个参数分配不同位宽，是否能改善二值化CNN中的准确率-压缩-功耗权衡。
• 开发一种实用的训练方法，为每个参数选择最优位宽，以实现目标平均位宽，同时保持高模型准确率。
• 证明异构位宽设计在FPGA和ASIC实现中，相比同质设计更具效率。

提出的方法

• 提出异构位宽神经网络（HBNNs），允许每个网络参数具有独立的位宽，从而实现分数平均位宽。
• 在先进的同质二值化训练框架基础上，引入一种贪心的‘由中及外’位宽选择算法，用于在反向传播过程中分配位宽。
• 在训练过程中使用直通估计器以保证梯度流动，同时保持浮点权重，仅将参数二值化为指定位宽。
• 对位宽分布进行超参数搜索，以找到在保持准确率的同时最小化平均位宽的最优配置。
• 基于每个参数的总计算单元数量，利用近期的FPGA和ASIC实现估算硬件效率，建模电路面积与功耗。

实验结果

研究问题

• RQ1 与同质二值化相比，为CNN中单个参数分配可变位宽是否能改善准确率-压缩-功耗权衡？
• RQ2 是否可行使用标准深度学习框架和优化技术训练具有每个参数异构位宽的CNN？
• RQ3 能否通过实现分数平均位宽（例如1.4位）达到与2位同质模型相当的准确率，同时减少硬件资源使用？
• RQ4 在FPGA和ASIC平台上，异构位宽设计与同质设计相比，在面积和功耗效率方面表现如何？

主要发现

• 在使用MobileNet的ImageNet上，HBNNs仅以1.4位的平均位宽实现了89.4%的top-1准确率，与同质2位模型准确率相当。
• 在ZC706 FPGA上，VGG-8的异构二值化模型以1.4位平均位宽实现了89.4%的准确率，LUT占用量比2位同质版本减少28%。
• 与2位同质设计相比，HBNNs的ASIC实现使芯片面积减少50%（从297 mm²降至145.5 mm²），功耗降低51%（从18.62 mW降至9.1 mW），同时在MobileNet上保持64.7%的准确率。
• ‘由中及外’的位宽选择策略在多个模型和数据集上，均优于其他贪心方法，在保持准确率的同时最小化位宽。
• 异构位宽支持对准确率-资源占用-功耗权衡进行细粒度调优，使设计者可根据目标硬件约束，最大化吞吐量或最小化面积。