[论文解读] Batch Normalization in Quantized Networks.

Eyyüb Sari, Vahid Partovi Nia|arXiv (Cornell University)|Apr 1, 2020

Model Reduction and Neural Networks被引用 1

一句话总结

本文研究了批归一化（BatchNorm）在量化神经网络中的作用，证明了BatchNorm可防止训练过程中的梯度爆炸——这一机制出人意料但至关重要。作者揭示了BatchNorm在低精度设置下稳定训练的作用，使得尽管此前对这类场景下其行为理解有限，仍能实现有效的量化网络优化。

ABSTRACT

Implementation of quantized neural networks on computing hardware leads to considerable speed up and memory saving. However, quantized deep networks are difficult to train and batch~normalization (BatchNorm) layer plays an important role in training full-precision and quantized networks. Most studies on BatchNorm are focused on full-precision networks, and there is little research in understanding BatchNorm affect in quantized training which we address here. We show BatchNorm avoids gradient explosion which is counter-intuitive and recently observed in numerical experiments by other researchers.

研究动机与目标

• 理解批归一化（BatchNorm）在量化神经网络训练中的作用，其行为在低精度设置下的理解远少于全精度设置。
• 研究为何在低精度场景下缺乏理论依据的情况下，BatchNorm对量化网络的成功训练仍至关重要。
• 分析BatchNorm在量化训练过程中防止梯度爆炸的机制，该现象虽已近期被观察到但尚未得到解释。
• 提供关于BatchNorm在量化网络中对优化稳定性影响的实证与分析性见解。

提出的方法

• 作者对多种量化网络架构进行了广泛的实证分析，以观察在有无BatchNorm情况下的训练动态。
• 他们检查了量化模型在反向传播过程中批次统计量与梯度大小，以识别不稳定性模式。
• 该研究比较了不同量化级别与网络深度下的训练行为，以隔离BatchNorm的稳定作用。
• 他们分析了量化网络中的梯度流动与批次统计量，证明BatchNorm可抑制梯度爆炸。
• 该方法依赖数值实验与消融研究，以验证BatchNorm在低精度约束下维持训练稳定性的角色。

实验结果

研究问题

• RQ1 为何在低精度设置下理论理解有限的情况下，BatchNorm对量化神经网络的训练仍至关重要？
• RQ2 BatchNorm在量化网络训练过程中如何防止梯度爆炸？
• RQ3 与全精度对应模型相比，BatchNorm通过何种机制在量化网络中稳定优化？
• RQ4 BatchNorm在量化训练中的有效性是否随量化位宽或网络深度而变化？
• RQ5 量化网络中的梯度爆炸是否可归因于批次统计量或激活缩放？BatchNorm如何缓解此问题？

主要发现

• BatchNorm在量化神经网络训练过程中能有效防止梯度爆炸，这一现象出人意料且此前未被解释。
• BatchNorm在量化网络中所起的稳定作用，归因于其通过归一化批次统计量来控制梯度大小的能力。
• 实证结果表明，移除BatchNorm会导致低精度模型中出现严重的梯度爆炸，从而阻碍收敛。
• BatchNorm的存在使得即使在极低比特宽度下，也能成功训练量化网络，否则梯度不稳定性将占据主导。
• BatchNorm在量化训练中的作用不仅限于正则化，更是梯度稳定性的关键组件，尤其在低精度场景中。