[论文解读] Automatic Neural Network Compression by Sparsity-Quantization Joint Learning: A Constrained Optimization-based Approach

Haichuan Yang, Shupeng Gui+2 more|arXiv (Cornell University)|Oct 14, 2019

Advanced Neural Network Applications参考文献 55被引用 5

一句话总结

该论文提出了一种基于约束优化的端到端自动神经网络压缩框架，通过联合学习稀疏性和量化，无需手动设置压缩比率。通过将问题表述为稀疏-量化模型大小约束，并利用ADMM求解，该方法在ResNet-50上实现了高达836倍的压缩率，且在CIFAR-10上无精度损失；在AlexNet上实现了205倍的压缩率，且在ImageNet上无精度损失。

ABSTRACT

Deep Neural Networks (DNNs) are applied in a wide range of usecases. There is an increased demand for deploying DNNs on devices that do not have abundant resources such as memory and computation units. Recently, network compression through a variety of techniques such as pruning and quantization have been proposed to reduce the resource requirement. A key parameter that all existing compression techniques are sensitive to is the compression ratio (e.g., pruning sparsity, quantization bitwidth) of each layer. Traditional solutions treat the compression ratios of each layer as hyper-parameters, and tune them using human heuristic. Recent researchers start using black-box hyper-parameter optimizations, but they will introduce new hyper-parameters and have efficiency issue. In this paper, we propose a framework to jointly prune and quantize the DNNs automatically according to a target model size without using any hyper-parameters to manually set the compression ratio for each layer. In the experiments, we show that our framework can compress the weights data of ResNet-50 to be 836$ imes$ smaller without accuracy loss on CIFAR-10, and compress AlexNet to be 205$ imes$ smaller without accuracy loss on ImageNet classification.

研究动机与目标

• 消除深度神经网络剪枝和量化中逐层压缩比率的手动超参数调优。
• 实现在不引入新超参数的前提下，端到端联合优化稀疏性和量化位宽。
• 在用户定义的模型大小预算下实现高倍率压缩，同时保持模型精度。
• 为强化学习或贝叶斯优化等黑箱优化方法提供稳定且高效的替代方案。
• 根据模型结构和数据敏感性，自动分配每层最优的压缩比率。

提出的方法

• 将DNN压缩表述为带有硬性模型大小约束的约束优化问题。
• 引入一个“软重复”权重变量，将原始权重与压缩后的对应权重解耦。
• 使用交替方向乘子法（ADMM）高效求解约束优化问题。
• 对压缩后的权重施加稀疏性+量化约束，确保同时具备稀疏性和低比特表示。
• 采用交替优化策略，联合更新原始权重、压缩权重和对偶变量。
• 通过优化而非超参数搜索，自动确定最优的逐层稀疏性和位宽。

实验结果

研究问题

• RQ1 能否在不依赖手动或黑箱超参数调优的情况下，实现剪枝与量化的自动化？
• RQ2 如何设计一种约束优化框架，以同时学习每层的稀疏性和量化位宽？
• RQ3 在固定模型大小预算下，不造成精度下降的最大压缩率是多少？
• RQ4 与先前工作相比，该方法在各层之间如何分配压缩资源（稀疏性和位宽）？
• RQ5 该框架能否在保持模型精度的同时实现最先进的压缩性能？

主要发现

• 所提方法在ResNet-50上实现了836倍压缩率，且在CIFAR-10上无精度损失，优于先前的自动化方法。
• 在AlexNet上，该方法在ImageNet上实现了205倍压缩率且无精度损失，展现出强大的泛化能力。
• 该框架实现了端到端压缩，无需对压缩比率或额外超参数进行任何手动调优。
• 可视化结果表明，该方法优先为更稀疏的层分配更高的位宽，这与“稀疏权重更具信息量”的直觉一致。
• 与先前方法相比，该方法通过联合优化稀疏性和量化，实现了比仅剪枝或仅量化的基线更高的压缩率。
• 基于ADMM的解决方案收敛稳定且高效，避免了黑箱优化方法常见的不稳定性和低效性。