[论文解读] Compression-aware Training of Deep Networks

José M. Alvarez, Mathieu Salzmann|arXiv (Cornell University)|Nov 7, 2017

Advanced Neural Network Applications参考文献 34被引用 54

一句话总结

这个论文在训练过程中引入低秩正则化，使得到紧凑的深度网络，培训后能够有效压缩，在准确度损失很小的情况下实现高压缩。

ABSTRACT

In recent years, great progress has been made in a variety of application domains thanks to the development of increasingly deeper neural networks. Unfortunately, the huge number of units of these networks makes them expensive both computationally and memory-wise. To overcome this, exploiting the fact that deep networks are over-parametrized, several compression strategies have been proposed. These methods, however, typically start from a network that has been trained in a standard manner, without considering such a future compression. In this paper, we propose to explicitly account for compression in the training process. To this end, we introduce a regularizer that encourages the parameter matrix of each layer to have low rank during training. We show that accounting for compression during training allows us to learn much more compact, yet at least as effective, models than state-of-the-art compression techniques.

研究动机与目标

• 由于过度参数化和部署约束，激发对紧凑深度网络的需求。
• 提出一种正则化项，鼓励在每一层的参数矩阵中实现低秩。
• 将低秩正则化与组稀疏性结合，以增强单位级和层级的压缩。
• 证明压缩感知训练在 ImageNet 和 ICDAR 上实现更高的压缩率，几乎不损失精度。
• 展示通过基于 SVD 的后处理进一步降低推理成本。

提出的方法

• 将学习问题形式化为将监督损失与对每层参数矩阵的核范数正则化相结合的正则化目标。
• 使用原函数近端随机梯度下降（proximal SGD）来优化逐层的近端更新。
• 引入一个稀疏组 Lasso 项，以促进组级和个别参数的稀疏性。
• 将低秩正则化与组稀疏性结合，以利用层内的单位冗余。
• 在推理阶段，应用基于 SVD 的后处理，将每一层分解为两个更小的层。
• 允许对奇异值（e_l）的能量进行截断以控制准确率和压缩之间的权衡。

实验结果

研究问题

• RQ1 在训练期间学习的低秩正则化是否能在后处理阶段产生高度可压缩的网络？
• RQ2 将低秩正则化与组稀疏性相结合是否能在比单独低秩更好地提高压缩？
• RQ3 压缩感知训练对 ImageNet 和 ICDAR 数据集的准确率和 MACs 有何影响？
• RQ4 与 Denton 风格的后处理和先前的稀疏方法相比，在参数量、MACs 和准确度方面该方法有何差异？
• RQ5 训练过程中会带来哪些实际好处，如更快的修剪和重新加载策略？

主要发现

• 与后处理基线相比，在 ImageNet 和 ICDAR 上实现了显著的压缩，且准确度损失很小。
• 在 ResNet-50 上，当与组稀疏性结合时，达到 20.6% 的压缩和 75.0% 的 top-1 准确度，以及 27% 的压缩和 75.2% 的 top-1。
• 对 ICDAR，某些配置下参数和 MACs 的减少超过 90%，同时保持强劲的准确性。
• 在 ImageNet 的 Dec8-512 模型上，报告参数减少超过 20%（在某些设置中超过 50%），且准确度与基线相当。
• 推断中，低秩正则化本身就倾向于让整个单位消失，从而在训练中提供模型选择。
• 通过基于能量的截断（e_l）的后处理可控准确性/效率权衡，80–100% 的能量保留时，MAC 减少效果良好。