[论文解读] FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server

Hong Zhang, Ji Liu+4 more|arXiv (Cornell University)|Apr 25, 2022

Privacy-Preserving Technologies in Data被引用 11

一句话总结

该论文提出FedDUAP，一种新型联邦学习框架，通过利用共享的非敏感服务器数据动态更新全局模型，并应用分层自适应剪枝，显著提升了训练效率与准确性。通过联合优化基于非独立同分布（non-IID）数据程度的动态服务器更新与各层自适应剪枝，FedDUAP在准确率上比最先进基线最高提升4.8%，收敛速度加快2.8倍，计算成本降低61.9%。

ABSTRACT

Despite achieving remarkable performance, Federated Learning (FL) suffers from two critical challenges, i.e., limited computational resources and low training efficiency. In this paper, we propose a novel FL framework, i.e., FedDUAP, with two original contributions, to exploit the insensitive data on the server and the decentralized data in edge devices to further improve the training efficiency. First, a dynamic server update algorithm is designed to exploit the insensitive data on the server, in order to dynamically determine the optimal steps of the server update for improving the convergence and accuracy of the global model. Second, a layer-adaptive model pruning method is developed to perform unique pruning operations adapted to the different dimensions and importance of multiple layers, to achieve a good balance between efficiency and effectiveness. By integrating the two original techniques together, our proposed FL model, FedDUAP, significantly outperforms baseline approaches in terms of accuracy (up to 4.8% higher), efficiency (up to 2.8 times faster), and computational cost (up to 61.9% smaller).

研究动机与目标

• 解决因非独立同分布（non-IID）数据和设备资源受限导致的联邦学习中训练效率低和模型准确率有限的双重挑战。
• 利用服务器上存储的非敏感数据，在不违反数据隐私的前提下，提升全局模型的收敛速度与准确率。
• 设计一种动态服务器更新机制，根据模型准确率和数据非独立同分布程度自适应调整训练步数。
• 设计一种分层自适应剪枝方法，根据各层的结构重要性和维度特性，为不同层定制剪枝率，以平衡效率与效果。
• 将动态更新与自适应剪枝整合进统一框架，显著降低通信与计算成本，同时保持高准确率。

提出的方法

• 提出FedDU，一种动态服务器更新算法，根据全局模型的准确率和服务器数据的非独立同分布程度，自适应调整服务器端的集中式训练步数。
• 引入非独立同分布程度度量，量化服务器与设备数据分布之间的差异，指导动态更新决策。
• 设计FedAP，一种分层自适应模型剪枝方法，基于各层的结构重要性和维度特性，为每层计算独特的剪枝率。
• 利用基于梯度的重要性评分，确定每层中应剪枝的神经元或滤波器，以最小化准确率损失。
• 将FedDU与FedAP集成至FedDUAP框架中，其中动态更新利用服务器数据优化全局模型，而自适应剪枝在通信前减小模型规模。
• 采用结构化剪枝以支持硬件加速，降低MFLOPs，同时保持模型性能。

实验结果

研究问题

• RQ1 利用共享的非敏感数据进行动态服务器更新，能否提升联邦学习中的收敛速度与准确率？
• RQ2 服务器数据的非独立同分布程度在多大程度上影响联邦设置中集中式训练的有效性？
• RQ3 与均匀剪枝或非结构化剪枝相比，分层自适应剪枝能否实现更优的效率-准确率权衡？
• RQ4 动态服务器更新与自适应剪枝的联合影响在联邦学习中的训练效率、准确率与计算成本方面如何？
• RQ5 所提出的框架能否在准确率、速度与资源效率方面超越最先进联邦学习方法？

主要发现

• FedDUAP在真实世界数据集上的CNN与ResNet模型上，相比FedAvg及其他SOTA基线，准确率最高提升4.8%。
• 与FedAvg相比，训练时间最多缩短至原来的1/2.8，相比数据共享基线提速高达15.0倍。
• 与FedAvg相比，计算成本最多降低61.9%，ResNet模型的MFLOPs减少55.7%。
• FedAP在CNN上实现平均37.8%的剪枝率，在VGG上实现72.0%的剪枝率，准确率与未剪枝的FedAvg相比仅损失0.1%以内。
• 对于VGG模型，剪枝后的模型甚至比未剪枝版本高出0.4%的准确率，且训练速度加快1.8倍。
• 动态更新与自适应剪枝的结合使FedDUAP在所有指标上均优于Hybrid-FL、IMC与PruneFL，包括收敛速度与对非独立同分布数据的鲁棒性。