[论文解读] Divide and Conquer: Leveraging Intermediate Feature Representations for Quantized Training of Neural Networks

Ahmed T. Elthakeb, Prannoy Pilligundla+2 more|arXiv (Cornell University)|Jun 14, 2019

Advanced Neural Network Applications参考文献 28被引用 6

一句话总结

本文提出了一种名为DCQ（分而治之量化）的新颖知识蒸馏框架，该框架将全精度教师网络划分为多个部分，分别使用教师网络的中间特征表示独立训练每个量化学生模块，最后将它们拼接成一个完整的量化模型。DCQ在二值化和三值化量化训练中分别将当前最先进（SOTA）技术的性能提升了21.6%和9.3%，显著减少了精度损失，同时实现了高效的推理。

ABSTRACT

The deep layers of modern neural networks extract a rather rich set of features as an input propagates through the network. This paper sets out to harvest these rich intermediate representations for quantization with minimal accuracy loss while significantly reducing the memory footprint and compute intensity of the DNN. This paper utilizes knowledge distillation through teacher-student paradigm (Hinton et al., 2015) in a novel setting that exploits the feature extraction capability of DNNs for higher-accuracy quantization. As such, our algorithm logically divides a pretrained full-precision DNN to multiple sections, each of which exposes intermediate features to train a team of students independently in the quantized domain. This divide and conquer strategy, in fact, makes the training of each student section possible in isolation while all these independently trained sections are later stitched together to form the equivalent fully quantized network. Our algorithm is a sectional approach towards knowledge distillation and is not treating the intermediate representation as a hint for pretraining before one knowledge distillation pass over the entire network (Romero et al., 2015). Experiments on various DNNs (AlexNet, LeNet, MobileNet, ResNet-18, ResNet-20, SVHN and VGG-11) show that, this approach -- called DCQ (Divide and Conquer Quantization) -- on average, improves the performance of a state-of-the-art quantized training technique, DoReFa-Net (Zhou et al., 2016) by 21.6% and 9.3% for binary and ternary quantization, respectively. Additionally, we show that incorporating DCQ to existing quantized training methods leads to improved accuracies as compared to previously reported by multiple state-of-the-art quantized training methods.

研究动机与目标

• 在最小化内存和计算成本的同时，减少量化神经网络中的精度退化。
• 利用深度网络学习到的丰富层次化特征表示，以提升量化性能。
• 开发一种分段知识蒸馏方法，通过中间激活值独立训练量化学生网络。
• 在不修改原始网络架构的前提下，弥合全精度模型与量化模型之间的精度差距。
• 通过模块化训练保留教师网络架构，实现高效、低比特宽度的推理。

提出的方法

• 该方法将预训练的全精度DNN划分为多个部分，每个部分对应网络的一个子段。
• 对于每个部分，使用对应教师部分的中间特征图作为监督信号，独立训练一个量化学生网络。
• 采用分段多反向传播方案，利用标准梯度下降优化学生与教师特征表示之间的损失。
• 损失计算为每个部分中教师中间激活与量化学生激活之间的回归损失。
• 独立训练完成后，将学生各部分拼接，形成一个完整且完全量化的DNN。
• 该方法不将中间特征用作预训练的提示，也不对整个学生网络进行最终的蒸馏阶段。

实验结果

研究问题

• RQ1 能否利用全精度网络的中间特征表示，以最小的精度损失训练量化学生网络？
• RQ2 与端到端蒸馏相比，分段知识蒸馏方法——即独立训练每个网络部分——是否能提升量化精度？
• RQ3 该方法在二值化和三值化设置下，能否超越如DoReFa-Net等当前最先进量化训练技术？
• RQ4 当作为后处理步骤集成到现有量化方法中时，DCQ能在多大程度上提升现有量化技术的性能？
• RQ5 通过这种分而治之的蒸馏策略，深度网络的层次化特征学习能力是否得到有效利用？

主要发现

• DCQ在多个网络上对DoReFa-Net的二值化量化性能平均提升21.6%，三值化量化性能平均提升9.3%。
• 在包括AlexNet、LeNet、MobileNet、ResNet-18、ResNet-20、SVHN和VGG-11在内的多个基准测试中，该方法的精度高于多种当前最先进量化训练技术。
• DCQ通过有效利用中间特征表示，显著缩小了全精度模型与量化模型之间的精度差距。
• 分段训练策略使得每个网络模块可独立优化，提升了训练的稳定性和收敛性。
• 将DCQ集成到现有量化流水线中，相较于先前报告的结果，可带来可测量的精度提升。
• 该方法在保留原始教师网络架构的同时，通过模块化蒸馏实现了高精度量化。