[论文解读] Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution

Hyungjun Kim, Jihoon Park+2 more|arXiv (Cornell University)|Dec 2, 2020

Advanced Neural Network Applications参考文献 37被引用 5

一句话总结

本文提出，与以往认为平衡分布更优的假设相反，非对称的二值激活分布可提升二值神经网络（BNN）的准确率。通过调整二值激活中符号函数的阈值，作者在XNOR-Net和Bi-Real-Net中实现了显著的准确率提升，且计算开销极低，表明激活分布的偏斜可增强表示能力，而不仅限于缓解梯度不匹配问题。

ABSTRACT

Binarization of neural network models is considered as one of the promising methods to deploy deep neural network models on resource-constrained environments such as mobile devices. However, Binary Neural Networks (BNNs) tend to suffer from severe accuracy degradation compared to the full-precision counterpart model. Several techniques were proposed to improve the accuracy of BNNs. One of the approaches is to balance the distribution of binary activations so that the amount of information in the binary activations becomes maximum. Based on extensive analysis, in stark contrast to previous work, we argue that unbalanced activation distribution can actually improve the accuracy of BNNs. We also show that adjusting the threshold values of binary activation functions results in the unbalanced distribution of the binary activation, which increases the accuracy of BNN models. Experimental results show that the accuracy of previous BNN models (e.g. XNOR-Net and Bi-Real-Net) can be improved by simply shifting the threshold values of binary activation functions without requiring any other modification.

研究动机与目标

• 探究激活分布对称性对BNN准确率的影响，挑战‘平衡分布为最优’的既有假设。
• 解决尽管采用STE和权重重缩放等技术，BNN仍持续出现准确率下降的问题。
• 探究ReLU类网络中常见的非对称激活分布是否可提升BNN性能。
• 评估通过阈值调整改进二值激活函数作为简单而有效的准确率提升方法的有效性。
• 通过分析其对激活分布的影响，澄清附加激活函数（如PReLU）在BNN中的作用。

提出的方法

• 提出将二值激活中符号函数的阈值从0调整为可学习或固定偏移量，以生成非对称的二值输出。
• 使用改进的直通估计器（STE）反向传播通过阈值偏移的符号函数梯度。
• 在ResNet-20等架构上进行实证分析，比较有无阈值偏移时的准确率表现。
• 引入负斜率可变的LeakyReLU作为代理，以模拟非对称分布并验证阈值偏移的影响。
• 对比包含与不包含附加激活函数（如PReLU）的模型，以隔离分布偏斜的贡献。
• 分析预激活分布，可视化阈值偏移和LeakyReLU如何改变均值与中位数，从而引入非对称性。

实验结果

研究问题

• RQ1 将二值激活函数的阈值发生偏移是否能提升BNN的准确率？
• RQ2 阈值偏移带来的性能增益是否源于由此产生的非对称激活分布？
• RQ3 为何附加激活函数（如PReLU）能提升BNN准确率？这是否可归因于分布偏斜？
• RQ4 阈值偏移能否通过反向传播有效训练？还是更适合作为超参数处理？
• RQ5 BNN中激活分布的偏斜程度与模型准确率之间存在何种相关性？

主要发现

• 将二值激活函数的阈值从0调整为非零值，可在不改变网络结构的前提下显著提升BNN的测试准确率。
• 该准确率增益在多种模型中保持一致，包括XNOR-Net和Bi-Real-Net，在CIFAR-10上准确率提升最高达2.5%。
• 性能增益归因于非对称激活分布的形成，其信息保留能力优于对称分布。
• 包含PReLU或LeakyReLU层的模型本身已呈现非对称分布，解释了其部分准确率增益；进一步进行阈值偏移反而因过度扭曲而降低性能。
• 阈值偏移无法通过反向传播进行训练；固定或手动调优的偏移量比端到端学习阈值效果更优。
• 通过在全精度设置下比较ReLU6与hardtanh函数，验证了非对称分布效应：即使不进行二值化，偏斜分布也能提升准确率。