[论文解读] Build a Compact Binary Neural Network through Bit-level Sensitivity and Data Pruning

Yixing Li, Fengbo Ren|arXiv (Cornell University)|Feb 3, 2018

Advanced Neural Network Applications参考文献 14被引用 5

一句话总结

本文通过应用位级敏感性分析和数据剪枝，提出紧凑二值化神经网络（CBNNs），以减小模型大小并降低推理延迟。通过识别并移除输入数据中的冗余位片，并剪枝不敏感的位，该方法在精度损失不超过1%的情况下，将网络大小缩小至原始BNN的1/3.9，与基线BNN相比推理时间减少2倍，与全精度模型相比减少9.9倍。

ABSTRACT

Convolutional neural network (CNN) has been widely used for vision-based tasks. Due to the high computational complexity and memory storage requirement, it is hard to directly deploy a full-precision CNN on embedded devices. The hardware-friendly designs are needed for re-source-limited and energy-constrained embed-ded devices. Emerging solutions are adopted for the neural network compression, e.g., bina-ry/ternary weight network, pruned network and quantized network. Among them, Binarized Neural Network (BNN) is believed to be the most hardware-friendly framework due to its small network size and low computational com-plexity. No existing work has further shrunk the size of BNN. In this work, we explore the redun-dancy in BNN and build a compact BNN (CBNN) based on the bit-level sensitivity analy-sis and bit-level data pruning. The input data is converted to a high dimensional bit-sliced for-mat. In post-training stage, we analyze the im-pact of different bit slices to the accuracy. By pruning the redundant input bit slices and shrinking the network size, we are able to build a more compact BNN. Our result shows that we can further scale down the network size of the BNN up to 3.9x with no more than 1% accuracy drop. The actual runtime can be reduced up to 2x and 9.9x compared with the baseline BNN and its full-precision counterpart, respectively.

研究动机与目标

• 解决在资源受限的嵌入式设备上部署大型神经网络的挑战。
• 减小二值化神经网络（BNNs）的模型大小与计算成本，尽管BNNs本身已具备硬件友好性，但在紧凑性方面仍有优化空间。
• 探索BNN中位级层面的冗余性，并加以利用以实现进一步压缩。
• 通过训练后剪枝，在显著减小模型大小和推理时间的同时保持高精度。

提出的方法

• 将输入数据转换为高维位片格式，以支持逐位分析。
• 执行位级敏感性分析，评估每个位片对网络精度的贡献。
• 基于敏感性评分剪枝冗余位片，降低输入维度。
• 在识别出不关键的位后，对网络结构进行剪枝以缩小BNN架构。
• 使用训练后量化与剪枝技术，在最小化模型大小的同时保持精度。
• 通过结合位级与数据级剪枝策略，对最终网络进行推理优化。

实验结果

研究问题

• RQ1 是否能够识别并移除输入数据位级表示中的冗余，而不会造成显著的精度损失？
• RQ2 剪枝单个位片对二值化神经网络性能有何影响？
• RQ3 通过位级敏感性分析与数据剪枝，BNN最多可压缩到何种程度？
• RQ4 在紧凑BNN中，模型大小压缩与精度下降之间的权衡关系如何？
• RQ5 所生成的紧凑BNN是否能在嵌入式设备上实现显著的推理速度提升？

主要发现

• 所提方法在精度损失不超过1%的情况下，将BNN的网络大小缩小至原始大小的1/3.9。
• 与基线BNN相比，推理时间减少最多2倍；与全精度模型相比，减少9.9倍。
• 位级敏感性分析成功识别出输入数据中的冗余位片，从而实现有效剪枝。
• 紧凑BNN在实现显著压缩与加速的同时，仍保持高精度。
• 该方法在现有BNN框架基础上实现了进一步的模型压缩，推动了硬件友好型神经网络的极限。