[论文解读] Efficient Sparse-Winograd Convolutional Neural Networks

Xingyu Liu, Jeff Pool+2 more|arXiv (Cornell University)|Feb 18, 2018

Advanced Neural Network Applications参考文献 16被引用 47

一句话总结

本文提出了一个 Winograd-ReLU CNN，在 Winograd 域中训练并剪枝权重，并将 ReLU 移动到 Winograd 域，以使稀疏性与计算对齐，在 CIFAR-10、CIFAR-100 和 ImageNet 上实现大约 10x 的乘法减少，且精度损失微小。

ABSTRACT

Convolutional Neural Networks (CNNs) are computationally intensive, which limits their application on mobile devices. Their energy is dominated by the number of multiplies needed to perform the convolutions. Winograd's minimal filtering algorithm (Lavin, 2015) and network pruning (Han et al., 2015) can reduce the operation count, but these two methods cannot be directly combined $-$ applying the Winograd transform fills in the sparsity in both the weights and the activations. We propose two modifications to Winograd-based CNNs to enable these methods to exploit sparsity. First, we move the ReLU operation into the Winograd domain to increase the sparsity of the transformed activations. Second, we prune the weights in the Winograd domain to exploit static weight sparsity. For models on CIFAR-10, CIFAR-100 and ImageNet datasets, our method reduces the number of multiplications by $10.4 imes$, $6.8 imes$ and $10.8 imes$ respectively with loss of accuracy less than $0.1\%$, outperforming previous baselines by $2.0 imes$-$3.0 imes$. We also show that moving ReLU to the Winograd domain allows more aggressive pruning.

研究动机与目标

• 通过将 Winograd 卷积与稀疏性结合，推动移动部署的 CNN 计算最小化。
• 在使用 Winograd 变换时，使权重和激活在变换域中都能利用稀疏性。
• 提出一个包含变换域剪枝与训练流程的 Winograd-ReLU 架构。
• 在 CIFAR-10、CIFAR-100 和 ImageNet 上展示显著的乘法减少，同时对精度影响极小。

提出的方法

• 使用 Winograd 的最小滤波，采用 4x4 变换核（p=4）以减少乘法。
• 将 ReLU 从空间域移动到 Winograd 域，以在乘法时提高激活的稀疏性。
• 在变换后对 Winograd 域的权重进行剪枝，以利用静态权重量稀疏性。
• 在 Winograd 域密集训练，对变换核进行固定阈值的剪枝以达到目标密度，并使用稀疏掩码进行再训练。
• 在变换域中提供对 Winograd 权重梯度和输入激活的反向传播更新（方程 5）。

实验结果

研究问题

• RQ1 在将 ReLU relocating 到 Winograd 域后，是否能够在使用 Winograd 卷积时有效利用稀疏性？
• RQ2 在 Winograd 域进行剪枝是否能够在保持精度的同时带来大幅减少乘法的效果？
• RQ3 在 CIFAR-10、CIFAR-100 和 ImageNet 上，将 Winograd 与稀疏激活和权重量结合时，计算性能的提升程度有何差异？

主要发现

• 在 CIFAR-10 上，Winograd-ReLU 模型相比基线实现最多 10.4x 的乘法减少，精度损失小于 0.1%。
• 在 CIFAR-100 上，Winograd-ReLU 模型最多实现 10.8x 的乘法减少，精度损失小于 0.1%。
• 在 ImageNet 上，Winograd-ReLU 模型最多实现 10.8x 的乘法减少，精度损失小于 0.1%。
• 跨数据集，Winograd-ReLU 方法在工作量减少方面始终优于传统的 Winograd 或空间剪枝基线，提升幅度为 2.0x–3.0x。