[论文解读] How Does Batch Normalization Help Binary Training?

Eyyüb Sari, Mouloud Belbahri+1 more|arXiv (Cornell University)|Sep 18, 2019

Advanced Neural Network Applications参考文献 11被引用 26

一句话总结

该论文表明，批量归一化（BatchNorm）对于二值神经网络（BNN）训练至关重要，主要是通过防止梯度爆炸，而非通过稳定激活或减少协变量偏移。研究表明，传统的Glorot初始化对BNN无效，仅通过固定缩放因子 $1/\sqrt{K_{l-1}}$ 的批量均值中心化即可实现收敛，从而实现边缘设备上的高效部署。

ABSTRACT

Binary Neural Networks (BNNs) are difficult to train, and suffer from drop of accuracy. It appears in practice that BNNs fail to train in the absence of Batch Normalization (BatchNorm) layer. We find the main role of BatchNorm is to avoid exploding gradients in the case of BNNs. This finding suggests that the common initialization methods developed for full-precision networks are irrelevant to BNNs. We build a theoretical study on the role of BatchNorm in binary training, backed up by numerical experiments.

研究动机与目标

• 探究为何批量归一化对二值神经网络（BNN）训练至关重要。
• 挑战Glorot风格权重初始化在BNN中有效的假设。
• 确定BatchNorm中哪些组件对BNN收敛至关重要。
• 为BNN在边缘设备上的训练提出一种轻量级替代BatchNorm的方法。
• 验证梯度爆炸是BNN在无BatchNorm时训练失败的主要原因。

提出的方法

• 在权重和激活独立同分布的假设下，对BNN中的梯度流动进行理论分析，表明潜在权重的方差无法控制梯度方差。
• 推导BatchNorm的梯度更新规则，分离出缩放参数 ($\gamma_k$) 和偏移参数 ($\beta_k$) 在梯度稳定性中的作用。
• 消融实验：将BatchNorm替换为：(1) 仅批量均值中心化，(2) 固定缩放 $1/\sqrt{K_{l-1}}$，(3) 无归一化。
• 在CIFAR-10上对VGG、ResNet-56和MobileNet-v1进行实证评估，测试不同初始化方差和BatchNorm配置下的表现。
• 在BNN中使用截断的直通估计器进行通过符号函数的反向传播。
• 系统性比较不同初始化方差和BatchNorm组件消融下的准确率。

实验结果

研究问题

• RQ1 尽管在许多全精度模型中未使用，为何BatchNorm对二值神经网络训练仍必不可少？
• RQ2 考虑到BNN中权重和激活的离散性约束，Glorot初始化是否仍对BNN有效？
• RQ3 BatchNorm中哪些组件——缩放、偏移或中心化——对防止BNN中的梯度爆炸至关重要？
• RQ4 能否通过固定的、可学习的缩放因子替代BNN中的BatchNorm，且不造成显著准确率损失？
• RQ5 权重初始化方差对BNN训练动态和最终准确率有何影响？

主要发现

• BatchNorm通过防止BNN中的梯度爆炸而发挥作用，这是其在训练中不可或缺的主要原因；这一作用与全精度网络中的功能不同。
• Glorot初始化对BNN无效，因为潜在权重的方差无法影响梯度方差，因此基于方差控制的初始化方案无关紧要。
• 仅需批量均值中心化即可实现稳定训练；可将可学习的缩放参数 $\gamma_k$ 固定为 $1/\sqrt{K_{l-1}}$，而不会造成显著准确率损失。
• 用固定中心化和缩放 $1/\sqrt{K_{l-1}}$ 替代BatchNorm在ResNet-56上实现了87.9%的top-1准确率，接近BatchNorm的88.8%；而同时移除两者则准确率仅为31.7%。
• 消融实验证实，无BatchNorm或适当缩放的网络因梯度爆炸而无法收敛，验证了理论分析。
• 通过调整缩放因子（如 $1/\sqrt{3K_{l-1}}$），可使固定缩放与完整BatchNorm之间的准确率差距得以消除，表明其在边缘设备上的实用替代潜力。