[论文解读] Efficient Stochastic Inference of Bitwise Deep Neural Networks

Sebastian Vogel, Christoph Schorn+2 more|arXiv (Cornell University)|Nov 20, 2016

Advanced Neural Network Applications参考文献 14被引用 11

一句话总结

本文提出使用基于位运算的深度神经网络（BNN）集成网络进行随机推理，以在分类准确率上超越高精度模型。通过在测试时应用随机权重投影，并利用LFSR生成的比特流实现硬件高效的随机舍入，该方法在CIFAR-10上实现5.81%的测试错误率，在GTSRB上实现1.63%，优于原始高精度网络的性能。

ABSTRACT

Recently published methods enable training of bitwise neural networks which allow reduced representation of down to a single bit per weight. We present a method that exploits ensemble decisions based on multiple stochastically sampled network models to increase performance figures of bitwise neural networks in terms of classification accuracy at inference. Our experiments with the CIFAR-10 and GTSRB datasets show that the performance of such network ensembles surpasses the performance of the high-precision base model. With this technique we achieve 5.81% best classification error on CIFAR-10 test set using bitwise networks. Concerning inference on embedded systems we evaluate these bitwise networks using a hardware efficient stochastic rounding procedure. Our work contributes to efficient embedded bitwise neural networks.

研究动机与目标

• 通过随机推理提升位运算神经网络的分类准确率，使其超越高精度基线模型。
• 通过设计无需乘法器的随机舍入过程，实现BNN在硬件上的高效部署。
• 证明测试时的随机投影优于对离散化权重的确定性推理。
• 验证基于LFSR的随机比特流生成在嵌入式加速器中实现随机舍入的可行性与准确性。
• 探索将随机舍入集成到训练过程中的潜力，以进一步提升性能。

提出的方法

• 在测试时推理过程中通过随机舍入实现随机权重投影，使用公式：$ sround(w) = \lceil w \rceil $，其概率为 $ p = \left| \frac{\lfloor w \rfloor - w}{\lfloor w \rfloor - \lceil w \rceil} \right| $，否则为 $ \lfloor w \rfloor $。
• 通过采样多个随机投影权重版本构建BNN集成模型，结合其输出以降低分类方差。
• 设计一种硬件高效的随机舍入引擎，利用LFSR生成的选择信号与Daalen调制器，实现非均匀概率分布。
• 推导出选择信号概率的解析解：$ P(sel_j=1) = \frac{2^{2^{j-1}}}{2^{2^{j-1}} + 1} $，以实现对分数值的精确近似。
• 使用单一伪随机比特流生成器（PRBS）为所有多路复用器提供选择信号，降低硬件与能耗成本，同时保持准确性。
• 在CIFAR-10与GTSRB数据集上应用该方法，采用128C3–128C3–MP2–256架构，激活函数为ReLU与符号函数，权重为三值化。

实验结果

研究问题

• RQ1 通过随机投影BNN的集成采样，能否实现分类准确率超越高精度基线模型？
• RQ2 硬件高效的随机舍入是否适用于位运算DNN的嵌入式部署？是否具备足够的准确性？
• RQ3 能否在多个随机舍入单元中共享单一PRBS生成器而不降低性能？
• RQ4 测试时的随机投影是否优于对离散化权重的确定性推理？
• RQ5 所提出的随机舍入方法能否实现解析推导，并在硬件中高效实现？

主要发现

• 该方法在CIFAR-10数据集上使用位运算网络实现了5.81%的测试错误率，为当时报告的最佳结果，且低于6%。
• 在GTSRB数据集上，16个成员的随机投影BNN集成模型实现了最低1.63%的测试错误率，优于高精度基线模型的2.19%。
• 在GTSRB上，11个网络集成的平均错误率为1.79%，标准差为0.042%，表现出高度一致性。
• 使用单一PRBS生成器为所有随机舍入单元提供信号，可保持平均分类准确率，同时降低硬件与能耗成本。
• 所提出的随机舍入方法在通过比特流概率表示分数值时，最大近似误差为 $ \frac{1}{2^N} $。
• 基于集成的随机投影推理始终优于对相同离散化权重的确定性推理，证实了方差减少的优势。