[论文解读] MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge

Geng Yuan, Xiaolong Ma+14 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Neural Network Applications参考文献 53被引用 41

一句话总结

MEST 引入 Elastic Mutation (EM) 和 Soft Memory Bound (EM&S)，用于在边缘设备上实现高效内存、准确的稀疏训练，同时通过数据高效的两阶段训练来移除信息量较低的样本。

ABSTRACT

Recently, a new trend of exploring sparsity for accelerating neural network training has emerged, embracing the paradigm of training on the edge. This paper proposes a novel Memory-Economic Sparse Training (MEST) framework targeting for accurate and fast execution on edge devices. The proposed MEST framework consists of enhancements by Elastic Mutation (EM) and Soft Memory Bound (&S) that ensure superior accuracy at high sparsity ratios. Different from the existing works for sparse training, this current work reveals the importance of sparsity schemes on the performance of sparse training in terms of accuracy as well as training speed on real edge devices. On top of that, the paper proposes to employ data efficiency for further acceleration of sparse training. Our results suggest that unforgettable examples can be identified in-situ even during the dynamic exploration of sparsity masks in the sparse training process, and therefore can be removed for further training speedup on edge devices. Comparing with state-of-the-art (SOTA) works on accuracy, our MEST increases Top-1 accuracy significantly on ImageNet when using the same unstructured sparsity scheme. Systematical evaluation on accuracy, training speed, and memory footprint are conducted, where the proposed MEST framework consistently outperforms representative SOTA works. A reviewer strongly against our work based on his false assumptions and misunderstandings. On top of the previous submission, we employ data efficiency for further acceleration of sparse training. And we explore the impact of model sparsity, sparsity schemes, and sparse training algorithms on the number of removable training examples. Our codes are publicly available at: https://github.com/boone891214/MEST.

研究动机与目标

• 在边缘设备友好地进行稀疏训练，以在降低内存、计算和能耗的同时尽量保持准确性。
• 开发一个稀疏训练框架（MEST），在边缘约束下维持内存经济性。
• 研究稀疏性方案在真实设备上对准确性、内存占用和训练速度的影响。
• 探索稀疏训练中的数据效率，以在不损害最终准确性的前提下进一步加速训练。

提出的方法

• 定义一个稀疏训练框架（MEST），通过突变维持目标稀疏度 s。
• 引入 Elastic Mutation (EM) 以逐步降低突变率并扩大搜索空间，同时不使收敛不稳定。
• 提出 Soft Memory Bound (EM&S)，在保持最终稀疏性的同时允许新生权重的临时增长与训练，从而实现内存灵活性。
• 计算结合权重幅值和梯度幅值的重要性分数，以引导权重的移除/增长。
• 确保突变和稀疏性操作在索引上进行，以保持过程严格稀疏，提升内存效率。
• 评估不同的稀疏性方案（无结构、块状、模式）在边缘设备上的实际训练速度、准确性和内存使用。
• 提出数据高效的两阶段训练（DE），在训练过程中利用不可忘记的样本移除标准来识别并移除信息量较低的样本。

实验结果

研究问题

• RQ1 MEST 框架在边缘设备上对不同稀疏性方案的准确性、训练速度和内存占用表现如何？
• RQ2 Elastic Mutation 和 Soft Memory Bound 对高稀疏比下最终模型准确性有何影响？
• RQ3 数据效率（两阶段训练）是否能在不损害最终准确性的前提下进一步加速边缘稀疏训练？
• RQ4 不同稀疏性方案（无结构、块状、模式）对移动硬件的训练速度和内存消耗有何影响？

主要发现

• MEST+EM，尤其是 MEST+EM&S，在 CIFAR-10/100 上的 ResNet-32/VGG-19 与 SOTA 稀疏训练方法相比，在不同稀疏比下能显著提升准确性。
• MEST 在边缘设备上实现了显著的训练加速，对块状/模式方案的提升可达约 2.3x，且内存占用显著降低，视方案而定。
• Soft Memory Bound (EM&S) 在极高稀疏度（如 98%）下取得更高的准确性，因为在修剪前允许新生权重的增长，起到“撤销”机制的作用。
• 数据高效的两阶段训练（DE）可以在 CIFAR-10/100 实验中再将训练时间降低 10-22%，且不牺牲最终准确性，利用了“不可忘记样本移除”的效果。
• 在 ImageNet 的 ResNet-50 实验中，MEST 的变体在相似或更低的 FLOPs 条件下仍优于可比方法的准确性，同时在边缘硬件上保持内存效率。