[论文解读] Complexity-Driven CNN Compression for Resource-constrained Edge AI

Muhammad Zawish, Steven Davy+1 more|arXiv (Cornell University)|Aug 26, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文提出了一种基于复杂度驱动的、计算高效的CNN剪枝框架，可直接训练剪枝后的模型而无需迭代微调，从而实现边缘设备上更快的部署。通过根据参数、FLOPs或内存复杂度对层进行分类，该方法在保持竞争力准确率的同时，相比传统剪枝流程将训练速度提升最多达60%。

ABSTRACT

Recent advances in Artificial Intelligence (AI) on the Internet of Things (IoT)-enabled network edge has realized edge intelligence in several applications such as smart agriculture, smart hospitals, and smart factories by enabling low-latency and computational efficiency. However, deploying state-of-the-art Convolutional Neural Networks (CNNs) such as VGG-16 and ResNets on resource-constrained edge devices is practically infeasible due to their large number of parameters and floating-point operations (FLOPs). Thus, the concept of network pruning as a type of model compression is gaining attention for accelerating CNNs on low-power devices. State-of-the-art pruning approaches, either structured or unstructured do not consider the different underlying nature of complexities being exhibited by convolutional layers and follow a training-pruning-retraining pipeline, which results in additional computational overhead. In this work, we propose a novel and computationally efficient pruning pipeline by exploiting the inherent layer-level complexities of CNNs. Unlike typical methods, our proposed complexity-driven algorithm selects a particular layer for filter-pruning based on its contribution to overall network complexity. We follow a procedure that directly trains the pruned model and avoids the computationally complex ranking and fine-tuning steps. Moreover, we define three modes of pruning, namely parameter-aware (PA), FLOPs-aware (FA), and memory-aware (MA), to introduce versatile compression of CNNs. Our results show the competitive performance of our approach in terms of accuracy and acceleration. Lastly, we present a trade-off between different resources and accuracy which can be helpful for developers in making the right decisions in resource-constrained IoT environments.

研究动机与目标

• 解决传统训练-剪枝-微调流程在CNN压缩中计算开销过高的问题。
• 克服现有剪枝方法未考虑各层对整体复杂度（如参数、FLOPs、内存）贡献差异的局限性。
• 实现剪枝模型的高效直接训练，消除冗余的滤波器排序与微调步骤。
• 为开发者提供灵活的压缩模式——参数感知、FLOPs感知和内存感知，以在边缘设备上平衡准确率与资源使用。
• 在资源丰富和资源受限的边缘平台均展示训练效率与模型性能。

提出的方法

• 提出一种基于复杂度驱动的剪枝流程，根据层对整体模型复杂度（参数、FLOPs、内存）的贡献识别并剪枝滤波器。
• 引入三种不同的剪枝模式：参数感知（PA）、FLOPs感知（FA）和内存感知（MA），每种模式针对特定的资源约束。
• 通过从随机初始化直接训练剪枝后的模型，跳过滤波器排序与微调阶段，从而降低计算开销。
• 在基于复杂度的层选择后采用随机滤波器剪枝，避免重要性评分或迭代优化的需要。
• 将剪枝过程迭代执行最多50次，根据所选模式调整目标稀疏度。
• 在GPU和边缘设备（如NVIDIA Jetson Nano）上，使用标准训练协议在CIFAR-10和CIFAR-100数据集上端到端训练最终剪枝模型。

实验结果

研究问题

• RQ1 一种跳过滤波器排序与微调的剪枝流程，能否在显著减少训练时间的同时实现具有竞争力的准确率？
• RQ2 在VGG-16和AlexNet等标准CNN中，不同类型的模型复杂度（参数、FLOPs、内存）在各层之间的分布有何差异？
• RQ3 复杂度感知剪枝模式（PA、FA、MA）在多大程度上能够实现在边缘设备上模型准确率与资源使用之间的权衡？
• RQ4 所提出的直接训练方法在高算力与边缘硬件上，与传统迭代剪枝方法相比，在训练效率上表现如何？
• RQ5 该方法能否支持实际部署场景，如资源受限设备上的联邦学习或增量微调？

主要发现

• 在资源丰富的GPU上，与传统PLS剪枝流程相比，PA模式下训练时间减少了50.2%，FA模式下减少了59.96%，MA模式下减少了51.4%。
• 在资源受限的NVIDIA Jetson Nano上，FLOPs感知（FA）模式实现了最佳的训练时间减少，证明其在边缘部署中的有效性。
• 直接训练剪枝后的模型在无需微调的情况下实现了具有竞争力的准确率，其准确率优于或匹配当前最先进方法，同时大幅降低训练成本。
• 三种剪枝模式（PA、FA、MA）使开发者能够根据具体资源约束（如FLOPs、内存、参数）在模型准确率与资源使用之间做出明智权衡。
• 由于训练开销极低，该方法支持实际应用场景，如边缘设备上的增量训练与联邦学习。
• 即使经过最多50次迭代剪枝，该方法仍保持高模型性能，准确率下降极小，证实了其鲁棒性与可扩展性。