[论文解读] DSConv: Efficient Convolution Operator

Marcelo Gennari, Roger Fawcett+1 more|arXiv (Cornell University)|Jan 7, 2019

Advanced Neural Network Applications参考文献 44被引用 31

一句话总结

DSConv 引入了一种新颖的量化卷积算子，通过低比特整数计算替代全精度运算，同时保持权重和激活的概率分布。它在不微调的情况下，对 ResNet、DenseNet、GoogLeNet、AlexNet 和 VGG-Net 等模型使用 4 位量化实现了接近最先进性能，精度损失小于 1%，并通过使用无标签数据的知识蒸馏进一步提升了精度。

ABSTRACT

Quantization is a popular way of increasing the speed and lowering the memory usage of Convolution Neural Networks (CNNs). When labelled training data is available, network weights and activations have successfully been quantized down to 1-bit. The same cannot be said about the scenario when labelled training data is not available, e.g. when quantizing a pre-trained model, where current approaches show, at best, no loss of accuracy at 8-bit quantizations. We introduce DSConv, a flexible quantized convolution operator that replaces single-precision operations with their far less expensive integer counterparts, while maintaining the probability distributions over both the kernel weights and the outputs. We test our model as a plug-and-play replacement for standard convolution on most popular neural network architectures, ResNet, DenseNet, GoogLeNet, AlexNet and VGG-Net and demonstrate state-of-the-art results, with less than 1% loss of accuracy, without retraining, using only 4-bit quantization. We also show how a distillation-based adaptation stage with unlabelled data can improve results even further.

研究动机与目标

• 在无法访问标注训练数据的情况下，实现预训练 CNN 的高效低比特量化。
• 通过保持权重和激活的概率分布，在量化过程中维持高模型精度。
• 提供一种即插即用的卷积替代方案，支持在速度、内存和精度之间进行可调节的权衡。
• 在拥有全精度权重的前提下，利用无标签数据的知识蒸馏进一步提升量化模型性能。
• 在多种标准架构上展示低比特量化中的最先进结果，特别是在 4 位时表现优异。

提出的方法

• DSConv 将卷积核分解为一个低精度分量（与原始核大小相同）和一个高精度分布偏移分量（例如，每个核一个 FP32 值）。
• 该方法采用受块浮点启发的方式对权重和激活进行量化，保持与全精度模型的分布相似性。
• 可调节的块大小超参数控制精度与计算效率之间的权衡。
• 该算子通过仅使用整数或位运算实现快速推理，替代昂贵的 FP32 MAC 单元。
• 基于知识蒸馏的自适应阶段利用原始预训练模型和无标签数据来优化量化权重，从而在无标签数据下提升精度。
• 该方法设计为标准卷积的即插即用替代品，在部署过程中无需微调。

实验结果

研究问题

• RQ1 我们能否在不微调或无法访问标注数据的情况下，实现对预训练 CNN 的高精度 4 位量化？
• RQ2 在低比特量化过程中，如何保持权重和激活的统计分布以维持模型精度？
• RQ3 块大小超参数对量化推理中精度与效率权衡的影响是什么？
• RQ4 当无法获得标注数据时，利用无标签数据进行知识蒸馏是否能进一步提升量化模型的精度？
• RQ5 在多种架构上，DSConv 与最先进量化方法相比，在精度和效率方面表现如何？

主要发现

• DSConv 在不微调的情况下，对 ResNet、DenseNet、GoogLeNet、AlexNet 和 VGG-Net 等模型进行 4 位权重和激活量化时，精度损失小于 1%。
• 在 ImageNet 上，DSConv 使用 4 位量化在 DenseNet121 上实现了 75.2% 的 top-1 精度，优于先前方法如 LQ-Nets（74.2%）和 DoReFa-Net（67.7%）。
• 对于 ResNet18，DSConv 使用 5 位权重和 128 的块大小时，达到 76.2% 的 top-1 精度，超过全精度基线的 75.0%。
• 在 2 位量化且块大小为 32 的情况下，DSConv 在 ResNet50 上保持了全精度精度的 98.5%，表现出极小的性能下降。
• 通过使用无标签数据进行知识蒸馏，DSConv 在 4 位量化下仍能将精度损失控制在 1% 以下，证明了其在低数据场景下的鲁棒性。
• 该方法表明，量化过程中的信息损失并不总与精度损失相关，尤其是在 1–3 位时，微调变得必要。