[论文解读] Layer Freezing & Data Sieving: Missing Pieces of a Generic Framework for Sparse Training

Geng Yuan, Yanyu Li+6 more|arXiv (Cornell University)|Sep 22, 2022

Machine Learning and ELM被引用 4

一句话总结

本文提出 SpFDE，一种用于稀疏训练的通用框架，通过整合层冻结与数据筛检，以在不损失准确率的前提下降低训练成本。通过逐步冻结早期层并动态缩小训练数据集，SpFDE 在保持准确率的同时，显著降低了 FLOPs 和内存使用量，并在不同稀疏度水平下，于 ImageNet 和 CIFAR-100 上优于当前最先进方法。

ABSTRACT

Recently, sparse training has emerged as a promising paradigm for efficient deep learning on edge devices. The current research mainly devotes efforts to reducing training costs by further increasing model sparsity. However, increasing sparsity is not always ideal since it will inevitably introduce severe accuracy degradation at an extremely high sparsity level. This paper intends to explore other possible directions to effectively and efficiently reduce sparse training costs while preserving accuracy. To this end, we investigate two techniques, namely, layer freezing and data sieving. First, the layer freezing approach has shown its success in dense model training and fine-tuning, yet it has never been adopted in the sparse training domain. Nevertheless, the unique characteristics of sparse training may hinder the incorporation of layer freezing techniques. Therefore, we analyze the feasibility and potentiality of using the layer freezing technique in sparse training and find it has the potential to save considerable training costs. Second, we propose a data sieving method for dataset-efficient training, which further reduces training costs by ensuring only a partial dataset is used throughout the entire training process. We show that both techniques can be well incorporated into the sparse training algorithm to form a generic framework, which we dub SpFDE. Our extensive experiments demonstrate that SpFDE can significantly reduce training costs while preserving accuracy from three dimensions: weight sparsity, layer freezing, and dataset sieving.

研究动机与目标

• 探索在不增加稀疏度的前提下，稀疏训练中其他成本降低策略，因为增加稀疏度常导致准确率下降。
• 研究在稀疏训练中应用层冻结的可行性与有效性，该技术此前在该领域尚未被探索。
• 开发一种数据筛检方法，通过动态选择有信息量的样本，实现端到端的数据集高效训练。
• 将层冻结与数据筛检整合进一个通用、即插即用的稀疏训练框架，同时保持高准确率。
• 证明结合权重稀疏度、层冻结与数据集缩减，可实现更优的训练效率与内存节省。

提出的方法

• 提出一种渐进式层冻结策略，基于训练过程中结构相似性与表征相似性，识别并冻结稀疏模型中的早期层。
• 引入一种动态数据筛检技术，持续从数据集中过滤并保留最具信息量的样本，贯穿整个训练过程。
• 设计一个通用框架 SpFDE，将权重稀疏度、层冻结与数据筛检无缝整合进统一的训练流程。
• 采用基于训练 FLOPs 的度量指标评估成本降低，综合考虑稀疏度、冻结层与缩减数据集大小的影响。
• 使用 32 位浮点表示与批量大小 64 来测量内存成本，并将 SpFDE 与基线 DST 方法进行比较。
• 应用消融研究以分离层冻结与数据筛检的贡献，验证其各自及联合效应。

实验结果

研究问题

• RQ1 尽管动态稀疏训练（DST）具有动态稀疏模式，层冻结是否仍可在稀疏训练中有效应用？
• RQ2 与静态数据集缩减相比，数据筛检在稀疏训练中对模型准确率与训练效率有何影响？
• RQ3 权重稀疏度、层冻结与数据集缩减的联合影响如何体现在训练 FLOPs 与内存成本上？
• RQ4 在不同稀疏度水平下，SpFDE 与当前最先进稀疏训练方法在准确率与效率方面相比如何？
• RQ5 结合这三种技术时，准确率、FLOPs、内存使用量与实际训练加速之间的最优权衡是什么？

主要发现

• 在使用 ResNet-50 的 ImageNet 上，SpFDE 在相同 FLOPs 水平下实现了比 MEST 及其他 SOTA 方法更高的 top-1 准确率，最佳结果为 76.03%（0.95×10^18 FLOPs）。
• 在 95% 稀疏度下，SpFDE 相较于基线 DST 方法，将训练 FLOPs 最多降低了 43.9%，且内存成本最低值显著低于现有方法。
• 即使考虑周期性密集反向传播等额外开销，SpFDE 的平均内存成本也比基线 DST 方法所需的最低值低 20–25.3%。
• SpFDE 中的数据筛检动态更新训练集，缓解了过拟合问题，因此准确率高于 MEST 中采用的一次性数据集缩减方法。
• 消融研究证实，层冻结与数据筛检均能独立提升性能，二者结合效果最强。
• SpFDE 在 0.95×10^18 FLOPs 下实现 76.03% 的 top-1 准确率，优于此前 SOTA 方法 RigL-ITOP，且相比基线方法进一步降低了内存使用量与 FLOPs。