[论文解读] A Programmable Approach to Model Compression.

V. Roshan Joseph, Saurav Muralidharan+3 more|arXiv (Cornell University)|Nov 6, 2019

Machine Learning and Data Classification参考文献 29被引用 6

一句话总结

该论文提出 Condensa，一种可编程的模型压缩系统，采用样本高效的约束贝叶斯优化方法，自动发现神经网络压缩的最佳稀疏度比率。通过允许用户使用 Python 编写自定义压缩策略，Condensa 仅需每轮搜索 10 个样本，即可实现高达 65 倍的内存压缩和 2.22 倍的吞吐量提升。

ABSTRACT

Deep neural networks frequently contain far more weights, represented at a higher precision, than are required for the specific task which they are trained to perform. Consequently, they can often be compressed using techniques such as weight pruning and quantization that reduce both model size and inference time without appreciable loss in accuracy. Compressing models before they are deployed can therefore result in significantly more efficient systems. However, while the results are desirable, finding the best compression strategy for a given neural network, target platform, and optimization objective often requires extensive experimentation. Moreover, finding optimal hyperparameters for a given compression strategy typically results in even more expensive, frequently manual, trial-and-error exploration. In this paper, we introduce a programmable system for model compression called Condensa. Users programmatically compose simple operators, in Python, to build complex compression strategies. Given a strategy and a user-provided objective, such as minimization of running time, Condensa uses a novel sample-efficient constrained Bayesian optimization algorithm to automatically infer desirable sparsity ratios. Our experiments on three real-world image classification and language modeling tasks demonstrate memory footprint reductions of up to 65x and runtime throughput improvements of up to 2.22x using at most 10 samples per search. We have released a reference implementation of Condensa at this https URL.

研究动机与目标

• 解决在不同神经网络和部署平台之间手动调整模型压缩超参数的挑战。
• 通过自动化、样本高效的搜索，降低寻找最优压缩策略的计算和人力成本。
• 使用户能够通过灵活可扩展的基于 Python 的接口，程序化地组合复杂的压缩策略。
• 通过智能的超参数搜索，最小化推理时间或模型内存占用，同时保持模型精度。
• 提供一个可扩展、可重用的模型压缩框架，支持多样化的任务和硬件目标。

提出的方法

• Condensa 允许用户使用基于 Python 的领域特定语言（DSL），通过模块化算子（用于剪枝和量化）定义压缩策略。
• 它将压缩搜索问题建模为一个约束优化任务，目标是在满足精度约束的前提下最小化延迟或模型大小。
• 该系统采用一种新颖的样本高效约束贝叶斯优化算法，以极低的评估成本探索超参数空间。
• 它根据性能反馈动态调整各层的稀疏度比率，利用概率模型预测最优配置。
• 该框架支持结构化和非结构化稀疏度，实现对压缩权衡的细粒度控制。
• 它与现有深度学习框架集成，支持从模型训练到部署的端到端压缩流水线。

实验结果

研究问题

• RQ1 如何实现模型压缩的自动化，以减少在不同神经网络和硬件平台之间手动调整超参数的需求？
• RQ2 在保持精度的前提下，发现高质量压缩配置所需的最少评估次数是多少？
• RQ3 可编程接口是否能够在不牺牲优化效率的前提下，实现灵活且可组合的压缩策略？
• RQ4 样本高效的约束贝叶斯优化在发现模型压缩最优稀疏度比率方面有多高效？
• RQ5 自动化压缩在实际任务中能在多大程度上减少内存占用并提升推理吞吐量？

主要发现

• Condensa 在三个真实世界图像分类和语言建模任务中，实现了高达 65 倍的模型内存占用减少。
• 该系统在保持模型精度的同时，将推理吞吐量最高提升了 2.22 倍。
• 仅需每轮搜索 10 个评估样本，即可发现最优压缩配置，证明了其极高的样本效率。
• 该框架在极少用户干预的情况下，成功压缩了多种架构和任务的模型。
• 可编程接口使用户能够轻松且可复现地组合复杂、任务特定的压缩策略。
• 约束贝叶斯优化方法在收敛速度和最终解质量方面均优于基线方法。