[论文解读] Learning Structured Sparsity in Deep Neural Networks

Wei Wen, Chunpeng Wu+3 more|arXiv (Cornell University)|Aug 12, 2016

Domain Adaptation and Few-Shot Learning参考文献 18被引用 468

一句话总结

本文提出了结构化稀疏学习（SSL），基于组Lasso的正则化方法，在DNN中学习紧凑、硬件友好的结构（滤波器、通道、形状和深度），在保持或提高准确率的同时实现显著的实际加速。

ABSTRACT

High demand for computation resources severely hinders deployment of large-scale Deep Neural Networks (DNN) in resource constrained devices. In this work, we propose a Structured Sparsity Learning (SSL) method to regularize the structures (i.e., filters, channels, filter shapes, and layer depth) of DNNs. SSL can: (1) learn a compact structure from a bigger DNN to reduce computation cost; (2) obtain a hardware-friendly structured sparsity of DNN to efficiently accelerate the DNNs evaluation. Experimental results show that SSL achieves on average 5.1x and 3.1x speedups of convolutional layer computation of AlexNet against CPU and GPU, respectively, with off-the-shelf libraries. These speedups are about twice speedups of non-structured sparsity; (3) regularize the DNN structure to improve classification accuracy. The results show that for CIFAR-10, regularization on layer depth can reduce 20 layers of a Deep Residual Network (ResNet) to 18 layers while improve the accuracy from 91.25% to 92.60%, which is still slightly higher than that of original ResNet with 32 layers. For AlexNet, structure regularization by SSL also reduces the error by around ~1%. Open source code is in https://github.com/wenwei202/caffe/tree/scnn

研究动机与目标

• 通过从更大的模型中学习紧凑的DNN结构来降低计算成本。
• 产生硬件友好的结构化稀疏性以实现高效的DNN加速。
• 用一个框架研究多种DNN结构（滤波器、通道、形状、深度）的正则化。
• 在学习压缩结构时证明能够保持或提高准确性。

提出的方法

• 提出一个通用的SSL目标，将数据损失与标准正则化以及使用Group Lasso的逐层分组稀疏项结合起来。
• 将group Lasso应用于不同的结构群：滤波器、通道、滤波器形状和网络深度。
• 推导实用的变体，如二维滤波器级稀疏和形状级稀疏，以便与基于GEMM的实现对齐。
• 结合带捷径连接的深度正则化，以在对整层进行裁剪时避免破坏信息流。
• 在MNIST（LeNet、MLP）、CIFAR-10（ConvNet、ResNet）和ImageNet（AlexNet）上使用现成库评估SSL。

实验结果

研究问题

• RQ1 在标准基准上，SSL是否能够在不牺牲准确率的情况下学习紧凑的结构化稀疏模式？
• RQ2 不同结构群（滤波器、通道、形状、深度）如何贡献实际计算量的降低？
• RQ3 在CPU和GPU上，使用现成库时可以实现的实际加速幅度有多大？
• RQ4 SSL能否与现有的加速技术（如基于GEMM的实现）整合以最大化加速？

主要发现

• 与使用现成库的基线相比，SSL在AlexNet卷积层的CPU平均加速约5.1×，在GPU约3.1×。
• SSL可以将ResNet深度从20层降至14层，且错误率低于原始的20层ResNet（SSL-14），18/32层变体在CIFAR-10上达到7.40%–7.51%的错误率。
• 在CIFAR-10上，SSL正则化在某些配置中可将AlexNet的错误率降低约1%，并实现更小、更新的模型。
• 在MNIST上，SSL学习到紧凑结构，错误率与基线相当，同时显著减少滤波器和通道（例如LeNet结果在保持类似精度的同时显著降低FLOP）。
• 二维滤波器级稀疏在AlexNet中将FLOP降低30%–40%且不损失准确性，形状级稀疏也能实现类似的降低，显示出与基于GEMM的计算的有效对齐。