[论文解读] Alternating Direction Method of Multipliers for Sparse Convolutional Neural Networks

Farkhondeh Kiaee, Christian Gagné+1 more|arXiv (Cornell University)|Nov 5, 2016

Sparse and Compressive Sensing Techniques参考文献 13被引用 13

一句话总结

本文提出一种基于ADMM的方法，通过最小化包含促进稀疏性的惩罚项的联合损失函数，对预训练的卷积神经网络进行稀疏化。通过交替优化稀疏性和识别性能，该方法实现了显著的模型压缩——参数减少高达50%，同时在CIFAR-10、CIFAR-100和SVHN基准上保持或提升了准确率。

ABSTRACT

The storage and computation requirements of Convolutional Neural Networks (CNNs) can be prohibitive for exploiting these models over low-power or embedded devices. This paper reduces the computational complexity of the CNNs by minimizing an objective function, including the recognition loss that is augmented with a sparsity-promoting penalty term. The sparsity structure of the network is identified using the Alternating Direction Method of Multipliers (ADMM), which is widely used in large optimization problems. This method alternates between promoting the sparsity of the network and optimizing the recognition performance, which allows us to exploit the two-part structure of the corresponding objective functions. In particular, we take advantage of the separability of the sparsity-inducing penalty functions to decompose the minimization problem into sub-problems that can be solved sequentially. Applying our method to a variety of state-of-the-art CNN models, our proposed method is able to simplify the original model, generating models with less computation and fewer parameters, while maintaining and often improving generalization performance. Accomplishments on a variety of models strongly verify that our proposed ADMM-based method can be a very useful tool for simplifying and improving deep CNNs.

研究动机与目标

• 为在低功耗或嵌入式设备上部署深度CNN模型，降低其计算和内存开销。
• 解决现有结构化稀疏性方法在处理不可微的稀疏性惩罚（如l0-范数）时的局限性。
• 实现对预训练网络中卷积层和全连接层的高效、迭代式稀疏化。
• 开发一种将稀疏性促进与识别性能优化相结合的可分离、可解析求解的框架。
• 提供一种灵活的、渐进式的稀疏化方法，避免在高正则化水平下从头开始重新训练。

提出的方法

• 将网络稀疏化问题表述为一个带识别损失和稀疏性诱导惩罚项的增广拉格朗日函数的优化问题。
• 应用交替方向乘子法（ADMM）将问题分解为两个子问题：一个用于稀疏性促进，另一个用于性能优化。
• 利用稀疏性惩罚（如l1或l0-范数）的可分性，在每次ADMM迭代中解析求解稀疏性子问题。
• 通过迭代重加权和逐步增加正则化，逐步使网络权重趋于稀疏结构，同时保持准确率。
• 将该方法应用于卷积层和全连接层，实现对整个模型的压缩，包括参数量较大的全连接层。
• 对性能子问题使用可微优化（如SGD），并在稀疏性项中允许使用不可微的惩罚项（如l0-范数）。

实验结果

研究问题

• RQ1 ADMM能否有效用于在保持或提升泛化性能的前提下，对预训练的CNN模型诱导结构化稀疏性？
• RQ2 与现有结构化稀疏性学习（SSL）方法相比，所提出的基于ADMM的方法在灵活性和计算效率方面表现如何？
• RQ3 在不降低分类准确率的前提下，该方法在多大程度上可减少模型大小和计算量？
• RQ4 能否通过ADMM将不可微的稀疏性惩罚（如l0-范数）有效整合到优化框架中？
• RQ5 正则化参数的渐进式增加如何影响最终模型的收敛性和稀疏性？

主要发现

• 所提出的基于ADMM的方法在CIFAR-10数据集上的标准VGGNet模型中实现了34.17%的参数减少，测试准确率达到96.97%，略高于原始模型。
• 对于低秩VGGNet变体，该方法实现了28.6%的参数减少，同时达到99%的测试准确率，展示了高密度压缩与极低准确率损失的结合。
• 在SVHN数据集上，该方法在自定义CNN中实现了49.7%的参数减少，在低秩CNN中实现了24.7%的参数减少，分别保持了83.3%和86.3%的测试准确率。
• 由于ADMM的可分性优势，该方法实现了在联合优化框架中不可行的非可微l0-范数惩罚项的有效应用。
• 与需要在高正则化水平下完全重新训练的SSL方法不同，本方法通过从前一解的热启动显著降低了计算成本。
• 该方法在多个模型架构和数据集上均表现出一致的性能提升或稳定性，部分情况下甚至在激进稀疏化下实现了准确率的微小提升。