[论文解读] Model compression as constrained optimization, with application to neural nets. Part I: general framework

Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|Jul 5, 2017

Sparse and Compressive Sensing Techniques参考文献 33被引用 26

一句话总结

本文提出了一种通用的约束优化框架，用于神经网络模型压缩，实现了量化、剪枝和低秩分解的统一处理。该框架引入了一种学习-压缩（LC）算法，通过在训练未压缩模型与使用增广拉格朗日法进行压缩之间交替进行，确保在标准假设下收敛至局部最优的压缩模型。

ABSTRACT

Compressing neural nets is an active research problem, given the large size of state-of-the-art nets for tasks such as object recognition, and the computational limits imposed by mobile devices. We give a general formulation of model compression as constrained optimization. This includes many types of compression: quantization, low-rank decomposition, pruning, lossless compression and others. Then, we give a general algorithm to optimize this nonconvex problem based on the augmented Lagrangian and alternating optimization. This results in a "learning-compression" algorithm, which alternates a learning step of the uncompressed model, independent of the compression type, with a compression step of the model parameters, independent of the learning task. This simple, efficient algorithm is guaranteed to find the best compressed model for the task in a local sense under standard assumptions. We present separately in several companion papers the development of this general framework into specific algorithms for model compression based on quantization, pruning and other variations, including experimental results on compressing neural nets and other models.

研究动机与目标

• 为在移动设备和嵌入式系统等资源受限设备上部署大型且高精度的神经网络模型提供解决方案。
• 在单一数学框架下统一多种模型压缩技术，如量化、剪枝和低秩分解。
• 开发一种通用算法，通过交替执行学习与压缩步骤，确保收敛至局部最优的压缩模型。
• 在标准假设下，为所提出的算法提供理论收敛保证，且不依赖于具体使用的压缩方法。
• 为后续论文中推导不同压缩形式的专用算法奠定基础。

提出的方法

• 将模型压缩建模为一个约束优化问题，将压缩约束（如权重量化、稀疏性）嵌入优化框架中。
• 使用增广拉格朗日法处理非凸、约束优化问题，支持在学习与压缩步骤之间进行交替最小化。
• 提出一种学习-压缩（LC）算法，将学习阶段（未压缩模型训练）与压缩阶段（在约束下进行参数变换）解耦。
• 通过交替优化最小化增广拉格朗日函数，其中学习步骤使用标准训练方法（如SGD），压缩步骤通过投影或映射强制执行约束。
• 在学习阶段采用Robbins-Monro步长，以确保在随机梯度噪声下收敛至驻点。
• 将压缩机制视为黑箱，允许无需修改核心算法即可插拔式应用各种压缩技术。

实验结果

研究问题

• RQ1 能否开发一个统一框架，将量化、剪枝和低秩分解等多样化的模型压缩技术统一于单一优化公式之下？
• RQ2 如何以一种保证收敛至局部最优压缩模型的方式交替执行学习与压缩阶段？
• RQ3 在非凸、约束优化条件下，确保学习-压缩算法收敛的理论条件是什么？
• RQ4 只要压缩方法能在优化问题中表示为约束，该框架是否可适用于任何压缩方法？
• RQ5 与现有针对特定场景的压缩方法相比，LC算法在最优性与收敛性保证方面表现如何？

主要发现

• 在标准假设下，包括Robbins-Monro步长和有界梯度噪声，所提出的LC算法可保证收敛至局部最优压缩模型。
• 通过将多种压缩技术表示为约束优化问题中的约束，该框架实现了多种压缩技术的统一，支持单一算法流水线。
• 该算法在训练未压缩模型与应用压缩之间交替进行，其中压缩步骤独立于学习任务，学习步骤独立于压缩类型。
• 通过递增梯度法与随机误差分析，建立了理论收敛性，表明算法收敛至增广拉格朗日函数的驻点。
• 即使在使用随机梯度下降时，该收敛理论仍适用于学习步骤，前提是噪声满足标准条件且步长为Robbins-Monro形式。
• 该框架支持插拔式应用多种压缩机制，如量化与剪枝，相关实现与实证评估在配套论文中分别详细阐述。