[论文解读] DeepHoyer: Learning Sparser Neural Network with Differentiable Scale-Invariant Sparsity Measures

Huanrui Yang, Wei Wen+1 more|arXiv (Cornell University)|Aug 26, 2019

Sparse and Compressive Sensing Techniques参考文献 53被引用 41

一句话总结

DeepHoyer 引入基于 Hoyer 衡量的可微分、尺度不变的稀疏正则化器，以实现逐元素和结构化裁剪，在不牺牲精度的情况下提高稀疏性，优于先前方法。

ABSTRACT

In seeking for sparse and efficient neural network models, many previous works investigated on enforcing L1 or L0 regularizers to encourage weight sparsity during training. The L0 regularizer measures the parameter sparsity directly and is invariant to the scaling of parameter values, but it cannot provide useful gradients, and therefore requires complex optimization techniques. The L1 regularizer is almost everywhere differentiable and can be easily optimized with gradient descent. Yet it is not scale-invariant, causing the same shrinking rate to all parameters, which is inefficient in increasing sparsity. Inspired by the Hoyer measure (the ratio between L1 and L2 norms) used in traditional compressed sensing problems, we present DeepHoyer, a set of sparsity-inducing regularizers that are both differentiable almost everywhere and scale-invariant. Our experiments show that enforcing DeepHoyer regularizers can produce even sparser neural network models than previous works, under the same accuracy level. We also show that DeepHoyer can be applied to both element-wise and structural pruning.

研究动机与目标

• 激发并开发几乎处处可微且具备尺度不变性的稀疏化正则化器。
• 利用 Hoyer 的 l1 与 l2 范数之比，为深度神经网络创建有效的稀疏性度量。
• 证明 DeepHoyer 正则化器在相似准确度下比先前方法产生更稀疏的模型。
• 将该方法扩展到逐元素和结构化（组）裁剪。

提出的方法

• 定义 Hoyer-Square (HS) 正则化器 H_S(W) = (sum_i |w_i|)^2 / (sum_i w_i^2) 用于逐元素裁剪。
• 提出 Group-HS 正则化器 G_H(W) = ((sum_g ||w^(g)||_2)^2) / (||W||_2^2) 用于结构化裁剪，使组级别的稀疏成为可能。
• 将 DeepHoyer 正则化器整合到标准的逐层训练中，目标函数为 min L(W) + sum_l (alpha H_S(W^(l)) + beta ||W^(l)||_2) 以实现逐元素裁剪。
• 在类似的逐层目标中应用 Group-HS，包含用于通道/滤波器组的项以及相应的系数 alpha_n, alpha_c, alpha_b, beta。
• 使用 SGD 训练并执行三阶段裁剪：用正则化器训练、裁剪小权重、并在固定为零的元素下进行微调。
• 证明可应用于卷积层和全连接层，以及 ResNet / AlexNet 规模。

实验结果

研究问题

• RQ1 一个既可微又具尺度不变性的稀疏正则化器是否能在 DNN 裁剪中超越基于 l1 或 l0 的方法？
• RQ2 受 Hoyer 启发的正则化器是否在不损失精度的前提下，在标准基准测试中实现更强的逐元素稀疏性和结构裁剪？
• RQ3 HS 与 Group-HS 在稀疏性、FLOPs 下降和准确度方面与最新裁剪方法相比如何？
• RQ4 该方法是否可扩展到大型网络和数据集（例如 ImageNet 上的 AlexNet、CIFAR-10/ImageNet 上的 ResNet）？

主要发现

• Hoyer-Square (HS) 在保持准确度的同时，在 MNIST LeNet 变体和 AlexNet 上实现比先前方法更高的逐元素稀疏性。
• HS 在 LeNet-300-100、LeNet-5 和 AlexNet 上实现的压缩程度高于原始 Hoyer 及若干基于 l1 的基线。
• Group-HS 实现了显著的结构化裁剪收益，在 LeNet-300-100 和 LeNet-5 上的 FLOPs 减少超过许多先前方法，同时保持有竞争力的准确度。
• 在 CIFAR-10 和 ImageNet 上，进行 Group-HS 裁剪的 ResNets 维持有竞争力的准确度，同时在准确度-FLOPs 权衡上始终高于帕累托前沿。