[论文解读] Enabling Deep Learning on Edge Devices through Filter Pruning and Knowledge Transfer

Kaiqi Zhao, Yitao Chen+1 more|arXiv (Cornell University)|Jan 22, 2022

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种新颖的框架，结合滤波器剪枝与知识迁移，以实现在资源受限的边缘设备上高效、准确且增量式的端到端深度学习模型训练。通过将模型联合压缩为更薄、更浅的架构，并从基于云的教师模型迁移问题求解知识，该方法实现了实时收敛（3–6分钟），在旧类别上保持超过90%的准确率，并在未见类别上达到78.92%的Top-1准确率，且无需重新训练。

ABSTRACT

Deep learning models have introduced various intelligent applications to edge devices, such as image classification, speech recognition, and augmented reality. There is an increasing need of training such models on the devices in order to deliver personalized, responsive, and private learning. To address this need, this paper presents a new solution for deploying and training state-of-the-art models on the resource-constrained devices. First, the paper proposes a novel filter-pruning-based model compression method to create lightweight trainable models from large models trained in the cloud, without much loss of accuracy. Second, it proposes a novel knowledge transfer method to enable the on-device model to update incrementally in real time or near real time using incremental learning on new data and enable the on-device model to learn the unseen categories with the help of the in-cloud model in an unsupervised fashion. The results show that 1) our model compression method can remove up to 99.36% parameters of WRN-28-10, while preserving a Top-1 accuracy of over 90% on CIFAR-10; 2) our knowledge transfer method enables the compressed models to achieve more than 90% accuracy on CIFAR-10 and retain good accuracy on old categories; 3) it allows the compressed models to converge within real time (three to six minutes) on the edge for incremental learning tasks; 4) it enables the model to classify unseen categories of data (78.92% Top-1 accuracy) that it is never trained with.

研究动机与目标

• 为解决在内存和计算资源受限的边缘设备上部署和训练大型深度学习模型的挑战。
• 通过实时从本地数据学习，实现个性化、响应迅速且保护隐私的端到端模型训练。
• 克服现有模型压缩与知识蒸馏技术的局限性，这些技术通常无法支持增量学习或泛化到未见类别。
• 开发一种既可微调又适用于知识迁移的压缩模型，确保压缩后准确率下降最小。
• 使端到端模型能够在不访问原始训练数据或标签的情况下，学习新类别而不遗忘旧类别。

提出的方法

• 基于滤波器剪枝的模型压缩方法，从预训练的云端模型中移除激活模式微弱且卷积层相似的冗余滤波器，从而减少模型深度与宽度。
• 压缩后的模型保留与原始模型相同的架构，从而支持教师（云端）与学生（边缘）模型之间的高效知识迁移。
• 提出一种新颖的知识迁移方法，将教师模型的中间表示与问题求解过程迁移至学生模型，而非仅迁移输出logits或特征图。
• 通过选择最优的教师-学生层对，最大化知识迁移效率，并缓解增量学习过程中的灾难性遗忘。
• 学生模型通过蒸馏知识在新本地数据上进行增量训练，实现实时适应，且无需对旧数据重新训练。
• 该框架通过利用教师模型的知识，支持对未见类别的无监督学习，即使学生模型此前从未接触过这些类别。

实验结果

研究问题

• RQ1 一种模型压缩技术是否能在显著减小模型规模的同时，仍为边缘部署保留高准确率？
• RQ2 压缩后的模型是否能在端到端设备上实现低延迟的增量微调，且不发生灾难性遗忘？
• RQ3 来自基于云端的教师模型的知识迁移，是否能使端到端学生模型准确分类未见类别？
• RQ4 通过中间表示迁移问题求解过程，是否优于仅迁移软标签或特征图的传统知识蒸馏方法？
• RQ5 整个流水线是否能在边缘硬件上实现分钟级的实时收敛（几分钟内）以支持增量学习任务？

主要发现

• 所提出的模型压缩方法在WRN-28-10上减少了99.36%的参数，同时在CIFAR-10上保持超过90%的Top-1准确率。
• 该方法在VGG-16上实现了高达139倍的压缩比，在Caltech 101上的准确率损失小于10%。
• 压缩模型在边缘设备上用于增量学习任务时，收敛时间仅为3至6分钟，支持实时适应。
• 知识迁移方法使学生模型在未见类别上实现了78.92%的Top-1准确率（CIFAR-10），尽管从未在这些类别上进行过训练。
• 在增量学习过程中，模型在旧类别上的表现依然强劲（准确率超过90%），表明有效缓解了灾难性遗忘。
• 通过中间表示迁移问题求解过程，显著优于基线知识蒸馏方法，未见类别准确率达到78.92%，而FitNet方法仅为0.00%。