[论文解读] Learning Sparsity and Quantization Jointly and Automatically for Neural Network Compression via Constrained Optimization.

Haichuan Yang, Shupeng Gui+2 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Image and Video Retrieval Techniques参考文献 2被引用 5

一句话总结

该论文提出了一种约束优化框架，可联合且自动地剪枝和量化深度神经网络，以满足目标模型尺寸，从而无需手动调整压缩比率的超参数。在CIFAR-10和ImageNet上，该方法对ResNet-50和AlexNet分别实现了836×和205×的权重压缩，且无精度损失。

ABSTRACT

Deep Neural Networks (DNNs) are applied in a wide range of usecases. There is an increased demand for deploying DNNs on devices that do not have abundant resources such as memory and computation units. Recently, network compression through a variety of techniques such as pruning and quantization have been proposed to reduce the resource requirement. A key parameter that all existing compression techniques are sensitive to is the compression ratio (e.g., pruning sparsity, quantization bitwidth) of each layer. Traditional solutions treat the compression ratios of each layer as hyper-parameters, and tune them using human heuristic. Recent researchers start using black-box hyper-parameter optimizations, but they will introduce new hyper-parameters and have efficiency issue. In this paper, we propose a framework to jointly prune and quantize the DNNs automatically according to a target model size without using any hyper-parameters to manually set the compression ratio for each layer. In the experiments, we show that our framework can compress the weights data of ResNet-50 to be 836$ imes$ smaller without accuracy loss on CIFAR-10, and compress AlexNet to be 205$ imes$ smaller without accuracy loss on ImageNet classification.

研究动机与目标

• 解决在神经网络压缩中为每一层手动调整压缩比率（稀疏度和位宽）的挑战。
• 消除对启发式或黑箱超参数优化方法的依赖，从而避免引入额外的调优开销。
• 实现无需精度退化即可自动完成端到端DNN压缩至目标模型尺寸。
• 通过统一的优化框架，同时实现剪枝与量化方面的高比率压缩。

提出的方法

• 建立一个联合优化基于权重大小的剪枝与训练后量化问题的约束优化问题。
• 引入稀疏度与量化约束的可微分松弛，以支持基于梯度的优化。
• 使用拉格朗日松弛法平衡模型精度与压缩比率之间的权衡。
• 根据目标模型尺寸约束，自动调整各层的剪枝与量化程度。
• 在单一端到端训练循环中应用该优化框架，无需迭代式超参数搜索。
• 利用梯度更新，联合学习各层最优的稀疏模式与量化位宽。

实验结果

研究问题

• RQ1 能否在无需手动调整压缩比率的情况下，实现剪枝与量化的自动化？
• RQ2 约束优化框架是否能在保持模型精度的同时实现高比率压缩？
• RQ3 与现有启发式或黑箱超参数调优方法相比，该方法在效率与精度方面表现如何？
• RQ4 该框架在标准基准上对ResNet-50和AlexNet的压缩能力在多大程度上可实现无精度损失？

主要发现

• 所提框架在CIFAR-10上将ResNet-50的权重压缩至原大小的836×，且无精度损失。
• 在ImageNet上，AlexNet的权重被压缩至原大小的205×，且无任何精度退化。
• 该方法在无需手动设置各层稀疏度或位宽的情况下实现高比率压缩。
• 该框架消除了对超参数调优或黑箱优化的需求，提升了效率。
• 稀疏化与量化的联合优化相比顺序或启发式方法，展现出更优的压缩效率。
• 约束优化方法实现了基于目标模型尺寸的自动逐层压缩比率分配。