[论文解读] Dynamic Runtime Feature Map Pruning

Tailin Liang, Lei Wang+2 more|arXiv (Cornell University)|Dec 24, 2018

Graph Theory and Algorithms参考文献 29被引用 5

一句话总结

本文提出一种动态运行时特征图剪枝方法，通过在推理过程中消除值接近零（在ε范围内）的非活跃特征图，以减少卷积神经网络中的带宽使用。该方法在不损失准确率的情况下，实现了10%的特征图加载减少，若允许1%的top-1准确率下降，则可额外实现5%的减少，且无需微调，与静态权重重剪枝互补。

ABSTRACT

High bandwidth requirements are an obstacle for accelerating the training and inference of deep neural networks. Most previous research focuses on reducing the size of kernel maps for inference. We analyze parameter sparsity of six popular convolutional neural networks - AlexNet, MobileNet, ResNet-50, SqueezeNet, TinyNet, and VGG16. Of the networks considered, those using ReLU (AlexNet, SqueezeNet, VGG16) contain a high percentage of 0-valued parameters and can be statically pruned. Networks with Non-ReLU activation functions in some cases may not contain any 0-valued parameters (ResNet-50, TinyNet). We also investigate runtime feature map usage and find that input feature maps comprise the majority of bandwidth requirements when depth-wise convolution and point-wise convolutions used. We introduce dynamic runtime pruning of feature maps and show that 10% of dynamic feature map execution can be removed without loss of accuracy. We then extend dynamic pruning to allow for values within an epsilon of zero and show a further 5% reduction of feature map loading with a 1% loss of accuracy in top-1.

研究动机与目标

• 为解决深度神经网络推理中高带宽需求的问题，特别是深度可分离卷积和逐点卷积中输入特征图带来的带宽压力。
• 探索在运行时动态剪枝特征图，避免静态剪枝中常见的微调需求和不规则网络结构。
• 评估剪枝值为零或接近零（在ε范围内）的特征图的可行性，以在不造成显著准确率损失的情况下减少内存带宽。
• 将动态特征图剪枝与静态权重剪枝进行比较，并评估其在现代CNN中的互补优势。

提出的方法

• 该方法在推理过程中动态识别并跳过值低于阈值ε的特征图，从而减少数据加载和带宽使用。
• 其依据是深度可分离卷积和逐点卷积使特征图成为主要的带宽瓶颈，尤其在现代网络架构中更为显著。
• 该方法在训练后应用，无需微调，通过在运行时检查特征图值是否低于阈值来实现。
• 该方法扩展了标准剪枝，允许将接近零（在ε范围内）的值也视为可剪枝，从而在付出较小准确率代价的前提下实现进一步的带宽减少。
• 该技术在六种网络（AlexNet、MobileNet、ResNet-50、SqueezeNet、TinyNet和VGG16）上进行了评估，涵盖不同的激活函数和稀疏度水平。
• 该方法与静态权重剪枝互补，因为即使在权重压缩后，特征图带宽仍然是主要瓶颈，尤其在包含深度可分离卷积的现代CNN中。

实验结果

研究问题

• RQ1 动态剪枝特征图是否能在不造成显著准确率损失的情况下减少DNN推理的带宽使用？
• RQ2 在不同CNN架构中，特征图的稀疏度如何变化，特别是使用ReLU与非ReLU激活函数的网络？
• RQ3 剪枝接近零（在ε范围内）的特征图能在多大程度上提升带宽效率，同时保持模型准确率？
• RQ4 与静态权重剪枝相比，动态特征图剪枝的有效性如何？二者是否可以协同使用？

主要发现

• 在包括ReLU激活函数在内的多个网络中，可动态剪枝10%的特征图执行过程，而top-1准确率无任何损失。
• 通过剪枝在ε范围内的值，可额外实现5%的特征图加载减少，仅导致1%的top-1准确率下降。
• 使用ReLU的网络（如AlexNet、SqueezeNet、VGG16）表现出高参数稀疏度（超过50%），适合进行有效的静态剪枝；而非ReLU网络（如ResNet-50、TinyNet）则几乎没有或没有零值参数。
• 即使在参数稀疏度较低的网络中，动态特征图剪枝依然有效，因为其利用了运行时特征图值的稀疏性，特别是在深度可分离和逐点卷积层中。
• 该方法与静态权重剪枝互补，因为即使在权重压缩后，特征图带宽仍是主要瓶颈，尤其在现代CNN中使用深度可分离卷积时。
• 该方法无需微调即可实现显著的带宽节省，因此适用于资源受限环境的部署。