[论文解读] Adaptive Dynamic Pruning for Non-IID Federated Learning.

Sixing Yu, Phuong Nguyen+2 more|arXiv (Cornell University)|Jun 13, 2021

Privacy-Preserving Technologies in Data参考文献 23被引用 12

一句话总结

本文提出了一种自适应、数据感知的动态剪枝方法，用于边缘设备上的非独立同分布联邦学习，通过将浮点运算量减少50%（实现2倍推理加速）的同时保持模型准确率，实现了高效推理。该方法根据本地数据分布为每台设备定制剪枝策略，从而在资源受限条件下实现高效且隐私保护的深度神经网络推理。

ABSTRACT

Federated Learning~(FL) has emerged as a new paradigm of training machine learning models without sacrificing data security and privacy. Learning models at edge devices such as cell phones is one of the most common use case of FL. However, the limited computing power and energy constraints of edge devices hinder the adoption of FL for both model training and deployment, especially for the resource-hungry Deep Neural Networks~(DNNs). To this end, many model compression methods have been proposed and network pruning is among the most well-known. However, a pruning policy for a given model is highly dataset-dependent, which is not suitable for non-Independent and Identically Distributed~(Non-IID) FL edge devices. In this paper, we present an adaptive pruning scheme for edge devices in an FL system, which applies dataset-aware dynamic pruning for inference acceleration on Non-IID datasets. Our evaluation shows that the proposed method accelerates inference by $2 imes$~($50\%$ FLOPs reduction) while maintaining the model's quality on edge devices.

研究动机与目标

• 解决在计算能力与能耗有限的边缘设备上部署计算资源密集型深度神经网络（DNNs）的挑战。
• 克服静态、数据无关剪枝策略在联邦学习中非独立同分布数据分布下失效的局限性。
• 通过根据本地数据特征自适应调整剪枝策略，实现在边缘设备上的高效且准确的推理。
• 在非独立同分布联邦学习设置下，显著降低计算成本的同时保持模型性能。

提出的方法

• 提出一种动态剪枝方案，根据每台边缘设备的本地数据分布动态调整剪枝策略。
• 通过分析本地数据统计信息实现数据感知剪枝，以确定每层的最优稀疏度。
• 在推理阶段而非训练阶段应用自适应剪枝，最大限度减少对模型收敛的影响。
• 利用反馈机制根据本地性能和数据偏移程度优化剪枝决策。
• 利用模型压缩技术减少浮点运算量，无需微调，专注于提升推理效率。
• 通过基于本地数据重要性的关键网络参数保留机制，确保模型准确率不受影响。

实验结果

研究问题

• RQ1 在联邦学习中，如何根据边缘设备间非独立同分布的数据分布自适应调整剪枝策略？
• RQ2 动态、数据感知剪枝在不降低模型准确率的前提下，能在多大程度上加速推理？
• RQ3 自适应剪枝是否能在非独立同分布联邦学习设置下实现50%的浮点运算量减少并保持性能？
• RQ4 在数据偏移条件下，与静态剪枝相比，所提方法在推理速度和准确率方面表现如何？

主要发现

• 所提出的自适应剪枝方法通过将浮点运算量减少50%，在边缘设备上实现了2倍的推理加速。
• 在所有测试的非独立同分布数据分布下，模型准确率均得以保持，表明对数据偏移具有强鲁棒性。
• 与不考虑本地数据特征的静态剪枝策略相比，该方法表现更优。
• 对本地数据的动态适应使系统在高度非独立同分布数据环境下仍能保持一致的性能提升。
• 该方法无需在每台设备上重新训练或微调，即可维持高效的推理性能。