[论文解读] A Pre-defined Sparse Kernel Based Convolution for Deep CNNs

Souvik Kundu, Saurav Prakash+3 more|arXiv (Cornell University)|Oct 2, 2019

Advanced Neural Network Applications参考文献 29被引用 4

一句话总结

该论文提出 pSConv，一种基于预定义稀疏核的卷积方法，用于深度卷积神经网络（CNNs），在训练前固定 2D 卷积核中的零值模式，从而在几乎不损失准确率的前提下显著降低模型复杂度。在 CIFAR-10 和 Tiny ImageNet 上，该方法实现了最高达 4.24× 的参数量减少和 70% 的 FLOP 减少，且在相似复杂度约束下，准确率比 ShuffleNet 提高了 3–4%。

ABSTRACT

The high demand for computational and storage resources severely impede the deployment of deep convolutional neural networks (CNNs) in limited-resource devices. Recent CNN architectures have proposed reduced complexity versions (e.g. SuffleNet and MobileNet) but at the cost of modest decreases inaccuracy. This paper proposes pSConv, a pre-defined sparse 2D kernel-based convolution, which promises significant improvements in the trade-off between complexity and accuracy for both CNN training and inference. To explore the potential of this approach, we have experimented with two widely accepted datasets, CIFAR-10 and Tiny ImageNet, in sparse variants of both the ResNet18 and VGG16 architectures. Our approach shows a parameter count reduction of up to 4.24x with modest degradation in classification accuracy relative to that of standard CNNs. Our approach outperforms a popular variant of ShuffleNet using a variant of ResNet18 with pSConv having 3x3 kernels with only four of nine elements not fixed at zero. In particular, the parameter count is reduced by 1.7x for CIFAR-10 and 2.29x for Tiny ImageNet with an increased accuracy of ~4%.

研究动机与目标

• 为解决深度 CNN 在资源受限的边缘设备上带来的高计算与存储需求。
• 通过在卷积核中引入预定义稀疏性机制，改善模型压缩中的准确率-复杂度权衡。
• 通过以结构化方式设计核稀疏性，实现高效的训练与推理，简化软硬件部署。
• 证明尽管 CNN 天然具有空间稀疏性，预定义稀疏性在 CNN 中的效果可与全连接层相媲美。

提出的方法

• pSConv 在 2D 卷积核中使用固定且预定义的稀疏模式，仅部分核权重（即核支撑集）为非零，且在训练和推理过程中保持不变。
• 对于每个 3×3 核，非零元素数量被减少至 2、4 或 9 个（共 9 个），零值位置以伪随机方式选择并保持恒定。
• 该方法应用于 CIFAR-10 和 Tiny ImageNet 上的 ResNet18 和 VGG16 架构，将标准卷积层替换为 pSConv 层。
• 该方法与分组卷积和逐点卷积正交，可在未来架构搜索中实现潜在集成。
• 训练采用端到端标准优化，稀疏性通过固定核模式实现，而非剪枝。
• 该方法实现了结构化、可预测的连接模式，有利于高效软硬件部署。

实验结果

研究问题

• RQ1 在 2D 卷积中，预定义的稀疏核模式是否能显著降低模型复杂度而不损害准确率？
• RQ2 与 SOTA 轻量化 CNN（如 ShuffleNet）相比，pSConv 在准确率以及参数量/FLOP 减少方面表现如何？
• RQ3 尽管 CNN 天然具有空间稀疏性，预定义稀疏性在 CNN 中是否能带来与全连接层类似的收益？
• RQ4 当应用于更深层的网络（如 VGG16 和 ResNet18）时，pSConv 是否能保持训练收敛性和模型性能？
• RQ5 在 pSConv 中，平衡复杂度降低与准确率的最优核支撑集大小（非零元素数量）是多少？

主要发现

• 在 CIFAR-10 上，采用 pSConv 且核支撑集大小为 2 的 ResNet18 变体实现了 3.27× 的参数量减少，且准确率比 ShuffleNet 高 3.3%。
• 在 Tiny ImageNet 上，基于 pSConv 的 ResNet18 且核支撑集大小为 4 的模型实现了 2.29× 的参数量减少，且准确率比 ShuffleNet 高约 3%。
• 在 CIFAR-10 上的 VGG16，pSConv 实现了最高达 34.0% 的参数量减少和 75.4% 的 FLOPs 减少，测试准确率仅下降 1.4%。
• 在 Tiny ImageNet 上的 VGG16，pSConv 实现了最高达 28.1% 的参数量减少和 78.4% 的 FLOPs 减少，测试准确率下降 2.4%。
• pSConv 模型的训练收敛曲线与标准模型高度一致，表明优化过程稳定。
• 该方法可实现高达 70% 的 FLOPs 减少，且准确率损失可忽略，展现出强大的复杂度-性能权衡能力。