[论文解读] Gradient 𝓁 1 Regularization for Quantization Robustness.

Milad Alizadeh, Arash Behboodi+4 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications被引用 3

一句话总结

本文提出一种基于梯度的 ℓ₁ 正则化方法，以提升神经网络在多种位宽下的后训练量化鲁棒性。通过将量化建模为 ℓ∞-有界扰动，该方法在训练过程中正则化梯度的 ℓ₁-范数，从而实现仅通过一次训练即可按需将单一模型量化至不同精度级别，而无需微调或访问训练数据。

ABSTRACT

We analyze the effect of quantizing weights and activations of neural networks their loss and derive a simple regularization scheme that improves robustness against post-training quantization. By training quantization-ready networks, our approach enables storing a single set of weights that can be quantized on-demand to different bit-widths as energy and memory requirements of the application change. Unlike quantization-aware training using the straight-through estimator that only targets a specific bit-width and requires access to training data and pipeline, our regularization-based method paves the way for on the fly'' post-training quantization to various bit-widths. We show that by modeling quantization as a $\ell_\infty$-bounded perturbation, the first-order term in the loss expansion can be regularized using the $\ell_1$-norm of gradients. We experimentally validate the effectiveness of our regularization scheme different architectures CIFAR-10 and ImageNet datasets.

研究动机与目标

• 解决后训练量化至不同位宽后保持模型精度的挑战。
• 克服量化感知训练的局限性，后者需为每个目标位宽重新训练并访问训练数据。
• 开发一种训练时正则化方法，实现对多种精度级别的即时量化。
• 在不修改推理流水线或为每种位宽重新训练的情况下，提升模型对量化扰动的鲁棒性。

提出的方法

• 将后训练量化建模为对网络权重和激活的 ℓ∞-有界扰动。
• 推导损失函数在量化扰动下的首阶泰勒展开。
• 识别损失展开中的梯度项为量化误差的主要来源。
• 通过正则化输入和权重的梯度 ℓ₁-范数，降低对量化扰动的敏感性。
• 在标准训练中使用标准反向传播应用该正则化。
• 训练单一模型，使其可在无需进一步调优的情况下按需支持多种位宽的量化。

实验结果

研究问题

• RQ1 能否训练一个单一神经网络，使其在多种后训练量化位宽下均保持鲁棒性？
• RQ2 将量化建模为 ℓ∞-有界扰动，如何指导量化鲁棒性正则化的设计？
• RQ3 与标准训练相比，梯度的 ℓ₁ 正则化是否能提升模型对不同量化级别的泛化能力？
• RQ4 所提方法是否能在不访问训练数据或重新训练的情况下，实现多种位宽下的竞争性精度？

主要发现

• 所提出的 ℓ₁ 梯度正则化在多种位宽下显著提升了后训练量化的测试精度。
• 使用该方法训练的模型在无需微调的情况下，量化至 4 位、6 位和 8 位精度时仍能保持高精度。
• 在需要即时量化至不同位宽的场景下，该方法优于标准训练和量化感知训练。
• 理论与实证分析表明，该正则化有效降低了损失对 ℓ∞-有界量化扰动的敏感性。