[论文解读] Additive Noise Annealing and Approximation Properties of Quantized Neural Networks

Matteo Spallanzani, Lukas Cavigelli+3 more|arXiv (Cornell University)|May 24, 2019

Neural Networks and Applications参考文献 33被引用 15

一句话总结

本文提出了一种新型基于梯度的量化神经网络（QNNs）训练方法——加性噪声退火（ANA），通过利用噪声诱导正则化来改善不可微分量化层的训练。通过在量化参数上应用加性噪声的期望，ANA 实现了对离散激活的反向传播，实现了在 CIFAR-10 上 90.74% 的 top-1 准确率，以及在 ImageNet 上 AlexNet 为 45.80%、MobileNetV2 为 64.79% 的最先进性能，且权重为三值化。

ABSTRACT

We present a theoretical and experimental investigation of the quantization problem for artificial neural networks. We provide a mathematical definition of quantized neural networks and analyze their approximation capabilities, showing in particular that any Lipschitz-continuous map defined on a hypercube can be uniformly approximated by a quantized neural network. We then focus on the regularization effect of additive noise on the arguments of multi-step functions inherent to the quantization of continuous variables. In particular, when the expectation operator is applied to a non-differentiable multi-step random function, and if the underlying probability density is differentiable (in either classical or weak sense), then a differentiable function is retrieved, with explicit bounds on its Lipschitz constant. Based on these results, we propose a novel gradient-based training algorithm for quantized neural networks that generalizes the straight-through estimator, acting on noise applied to the network's parameters. We evaluate our algorithm on the CIFAR-10 and ImageNet image classification benchmarks, showing state-of-the-art performance on AlexNet and MobileNetV2 for ternary networks.

研究动机与目标

• 正式定义量化神经网络（QNNs），并证明其在超立方体上对利普希茨连续函数具有通用逼近能力。
• 理论上分析加性噪声对 QNN 中不可微分多步函数的正则化效应，表明噪声应用可产生可微分的代理函数。
• 提出一种新的基于梯度的训练算法——加性噪声退火（ANA），通过在网络参数中注入噪声，推广了直通估计器（straight-through estimator）。
• 在标准基准上实证验证 ANA，证明其在三值网络上的性能优于现有方法（如 STE 和 XNOR-Net）。
• 通过将权重和激活量化为三值，实现高效且硬件友好的推理，同时保持高模型准确率。

提出的方法

• 将 QNNs 形式化为权重和/或激活受限于有限量化集合 $Q$（如 $\{-1, 0, +1\}$）的深度神经网络，并证明其在超立方体上连续函数空间中的稠密性。
• 理论上证明：对不可微分的多步函数施加具有可微概率密度的期望算子，可得到一个可微函数，且显式给出了利普希茨常数的上界。
• 提出加性噪声退火（ANA）训练算法，该算法在前向传播中向网络参数注入均匀噪声，并在反向传播中使用期望梯度，从而实现 QNN 的端到端训练。
• 在前向传播中采用线性衰减的噪声调度，在反向传播中保持恒定非零噪声，以逐步退火噪声并稳定训练过程。
• 将 ANA 应用于全网络量化（如在 CIFAR-10 上的 VGG 类网络）和部分量化（如 MobileNetV2 中的残差分支），将计算成本降低约 70% 的乘加操作（MACs）。
• 通过使用均匀噪声，在深度学习框架中高效实现 ANA，借助开源代码实现实际部署与可复现性。

实验结果

研究问题

• RQ1 具有有限取值权重和激活的量化神经网络能否逼近超立方体上的任意利普希茨连续函数？
• RQ2 加性噪声如何正则化不可微分的量化函数？其数学机制是否能产生可微分的代理梯度？
• RQ3 如何利用噪声的、分段常数函数的期望来构建适用于 QNN 反向传播的可微分近似？
• RQ4 基于噪声的正则化方法是否能在训练三值神经网络时超越现有梯度估计技术（如直通估计器）？
• RQ5 当应用于现代架构（如 AlexNet 和 MobileNetV2）的全量化与部分量化时，ANA 在标准图像分类基准上的性能如何？

主要发现

• 权重和激活属于有限集合 $Q$ 的 QNN 在超立方体上的连续函数空间中是稠密的，证明了其通用逼近能力。
• 对不可微分的多步函数施加具有可微概率密度的期望算子，可得到一个可微函数，其利普希茨常数受噪声密度变化的有界控制。
• 在使用三值权重的 VGG 类架构上，ANA 在 CIFAR-10 上实现了 90.74% 的 top-1 验证准确率，优于先前方法（如 STE 为 89.85%，GXNOR-Net 为 92.50%）的直接比较结果。
• 在 ImageNet 上，ANA 使用三值 AlexNet 实现了 45.80% 的 top-1 准确率，与全精度基线（54.71%）相比，准确率差距缩小了 31%，显著优于标准 STE（41.80%）。
• 对于 MobileNetV2，仅对残差分支（占 70% MACs）进行量化，使用 ANA 仅导致 6.46% 的准确率下降（从 71.25% 降至 64.79%），证明了其高效性与可扩展性。
• ANA 在 ImageNet 上优于 XNOR-Net（44.20%），并匹配或超越其他最先进三值训练方法，在泛化能力和向更深模型的可扩展性方面表现更优。