[论文解读] Fast ConvNets Using Group-wise Brain Damage
本文提出了一种分组式脑损伤（group-wise brain damage）方法——一种结构化剪枝技术，通过分组方式对卷积核张量进行稀疏化处理，以加速卷积神经网络（ConvNets）。通过在训练过程中引入分组稀疏性正则化，该方法减少了低秩卷积中的矩阵乘法操作，在仅损失1%准确率的情况下，使AlexNet的瓶颈层实现最高8.5倍的加速，同时实现了感受野和特征图的自动剪枝。
We revisit the idea of brain damage, i.e. the pruning of the coefficients of a neural network, and suggest how brain damage can be modified and used to speedup convolutional layers. The approach uses the fact that many efficient implementations reduce generalized convolutions to matrix multiplications. The suggested brain damage process prunes the convolutional kernel tensor in a group-wise fashion by adding group-sparsity regularization to the standard training process. After such group-wise pruning, convolutions can be reduced to multiplications of thinned dense matrices, which leads to speedup. In the comparison on AlexNet, the method achieves very competitive performance.
研究动机与目标
- 通过在不造成显著准确率损失的前提下加速卷积层，解决大型卷积神经网络的计算瓶颈问题。
- 克服非结构化剪枝的局限性——尽管参数稀疏度高，但无法实现实际的加速效果。
- 提出一种结构化稀疏性方法，利用卷积中矩阵乘法的减少来实现更快的推理速度。
- 通过分组稀疏性正则化，实现数据驱动的最优感受野和冗余特征图的自动发现。
- 证明分组式剪枝在加速效率方面可优于基于张量分解的加速方法。
提出的方法
- 使用im2col（降低）变换将广义卷积转换为矩阵乘法，这是高效深度学习库中的标准做法。
- 将4D卷积核张量的元素按结构化块（如空间或通道分组）分组，以支持协同剪枝。
- 在随机梯度下降过程中应用截断的l2,1分组稀疏性正则化，以促使整个核权重组被剪枝至零。
- 根据验证性能动态调整分组剪枝的阈值θ，以在加速与准确率之间取得平衡。
- 通过迭代剪枝与微调逐步提高稀疏度，同时保持模型准确率。
- 使用分层分组稀疏性正则化器，以显式鼓励在有益时完全消除整个特征图（零稀疏模式）。
实验结果
研究问题
- RQ1在分组稀疏性正则化引导下，对卷积核进行结构化剪枝是否能带来卷积神经网络推理中的可测量加速？
- RQ2分组式脑损伤方法在加速与准确率权衡方面是否优于非结构化剪枝和张量分解方法？
- RQ3学习过程是否能通过分组稀疏性自动发现最优的感受野形状与大小？
- RQ4在不降低性能的前提下，能在多大程度上以数据驱动方式剪枝整个特征图？
- RQ5该方法是否可推广至不同架构（如AlexNet和VGGNet），即使其初始滤波器尺寸和深度不同？
主要发现
- 所提出的分组式脑损伤方法在AlexNet的瓶颈层（conv2和conv3）中实现了最高8.5倍的加速，仅造成1%的top-1准确率下降。
- 该方法实现了整个特征图的自动、数据驱动剪枝——在VGGNet的一个层中剪除了29个（共64个）特征图，表明原始架构中存在结构冗余。
- 稀疏化处理在INRIA Holidays数据集上实现了3.2倍的加速，性能损失可忽略不计（mAP从0.783降至0.780）。
- 优化过程学习到了更趋圆形且以中心聚焦的感受野，与其它研究的发现一致。
- 在相同准确率损失下，该方法在加速效率方面优于基于张量分解的方法。
- 该方法在小尺寸3×3卷积核网络（如VGGNet）中同样有效，实现了13%的核密度（τ=0.13），且仅造成0.2%的top-1准确率下降。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。