[论文解读] Layer-Wise Data-Free CNN Compression

Maxwell Horton, Yanzi Jin+2 more|arXiv (Cornell University)|Nov 18, 2020

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种逐层、无需真实数据的卷积神经网络（CNN）压缩方法，仅利用批量归一化（BatchNorm）统计信息生成合成输入，从而在无需真实数据的情况下实现高效的量化与剪枝。该方法在8位量化中达到SOTA准确率（+0.34%），在5位量化中实现最高28.50%的性能提升，同时在剪枝任务中优于现有高效基线方法，并显著提升了计算成本较高的生成式方法的性能。

ABSTRACT

We present a computationally efficient method for compressing a trained neural network without using real data. We break the problem of data-free network compression into independent layer-wise compressions. We show how to efficiently generate layer-wise training data using only a pretrained network. We use this data to perform independent layer-wise compressions on the pretrained network. We also show how to precondition the network to improve the accuracy of our layer-wise compression method. We present results for layer-wise compression using quantization and pruning. When quantizing, we compress with higher accuracy than related works while using orders of magnitude less compute. When compressing MobileNetV2 and evaluating on ImageNet, our method outperforms existing methods for quantization at all bit-widths, achieving a $+0.34\%$ improvement in $8$-bit quantization, and a stronger improvement at lower bit-widths (up to a $+28.50\%$ improvement at $5$ bits). When pruning, we outperform baselines of a similar compute envelope, achieving $1.5$ times the sparsity rate at the same accuracy. We also show how to combine our efficient method with high-compute generative methods to improve upon their results.

研究动机与目标

• 实现面向边缘部署的高效、无需真实数据的预训练CNN压缩。
• 解决因隐私、法律或存储限制导致原始训练数据不可用时的模型压缩挑战。
• 开发一种计算高效的压缩方法，在不使用真实数据微调的情况下，保持量化与剪枝过程中的高准确率。
• 通过基于合成数据生成的逐层优化，超越现有无需真实数据的方法。
• 将高效生成的数据与高计算成本的生成式方法相结合，进一步提升性能。

提出的方法

• 该方法将网络压缩分解为独立的逐层问题，将每一层视为一个学生网络，通过知识蒸馏从预训练教师网络的对应层进行训练。
• 通过反演教师网络的批量归一化统计信息，使用匹配层激活统计特性的噪声输入，为每一层生成合成输入数据。
• 应用一种预处理技术——AFCLE（自适应特征通道线性均衡），以稳定训练过程并提升压缩阶段的准确率。
• 学生网络通过知识蒸馏进行训练，其中教师网络的输出logits指导学生网络的学习过程，最小化蒸馏损失。
• 在剪枝过程中，应用稀疏性诱导的权重衰减，并学习逐层剪枝预算以指导稀疏模式。
• 该方法可通过将逐层损失加入其目标函数，与计算成本较高的生成式方法（如DI、AKD）结合，从而在不依赖真实数据的情况下提升其性能。

实验结果

研究问题

• RQ1 在无法访问真实训练数据的情况下，是否能有效将CNN压缩解耦为独立的逐层优化问题？
• RQ2 如何高效生成合成数据以近似预训练网络中特定层的输入分布？
• RQ3 哪些技术可提升无需真实数据压缩的准确率，尤其是在极端量化或剪枝条件下？
• RQ4 能否将计算高效的无需真实数据方法与高计算成本的生成式方法结合，以进一步提升性能？
• RQ5 与现有无需真实数据及轻量级数据基线相比，该方法在准确率与效率方面表现如何？

主要发现

• 在ImageNet上对MobileNetV2进行8位量化时，该方法相比先前工作实现+0.34%的准确率提升，且在更低比特宽度下收益更显著。
• 在5位量化下，该方法相比现有无需真实数据方法实现+28.50%的相对准确率提升，展现出卓越的低比特性能。
• 在剪枝任务中，该方法在相同准确率下实现的稀疏度是同类高效基线方法的1.5倍，优于全局、均匀及ERK剪枝基线。
• 消融实验表明，输入缩放与AFCLE均至关重要：若省略任一方法，准确率显著下降，其中仅省略输入缩放即导致MobileNetV1剪枝准确率下降1.5%。
• 将该方法与DI或AKD结合后，可进一步提升其性能，在稀疏度-准确率权衡上优于任一方法单独使用，尤其在EfficientNet B0与MobileNetV2上表现突出。
• 该方法保持高度效率，其计算量相比高成本生成式方法低数个数量级，同时实现更优或相当的性能表现。