[论文解读] Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning

Nader Bouacida, Jiahui Hou+2 more|arXiv (Cornell University)|Nov 8, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用 9

一句话总结

本文提出自适应联邦丢弃（Adaptive Federated Dropout, AFD），一种通信高效的联邦学习方法，通过基于激活分数动态选择子模型进行本地训练，从而降低通信与计算成本。AFD 相较于最先进方法，收敛时间最快可提升 57 倍，且泛化性能提升 1.7%。

ABSTRACT

With more regulations tackling users' privacy-sensitive data protection in recent years, access to such data has become increasingly restricted and controversial. To exploit the wealth of data generated and located at distributed entities such as mobile phones, a revolutionary decentralized machine learning setting, known as Federated Learning, enables multiple clients located at different geographical locations to collaboratively learn a machine learning model while keeping all their data on-device. However, the scale and decentralization of federated learning present new challenges. Communication between the clients and the server is considered a main bottleneck in the convergence time of federated learning. In this paper, we propose and study Adaptive Federated Dropout (AFD), a novel technique to reduce the communication costs associated with federated learning. It optimizes both server-client communications and computation costs by allowing clients to train locally on a selected subset of the global model. We empirically show that this strategy, combined with existing compression methods, collectively provides up to 57x reduction in convergence time. It also outperforms the state-of-the-art solutions for communication efficiency. Furthermore, it improves model generalization by up to 1.7%.

研究动机与目标

• 解决因在慢速或不稳定的客户端连接上传输大型模型更新而引起的联邦学习通信瓶颈问题。
• 在不牺牲模型性能的前提下，降低联邦学习中的通信与计算开销。
• 通过每轮仅训练客户端部分模型权重，最小化数据传输量的同时提升模型泛化能力。
• 探究在异构、非独立同分布（non-IID）数据设置下，动态子模型选择对收敛速度与鲁棒性的影响。
• 评估将 AFD 与现有压缩技术（如 DGC）结合使用的有效性，以进一步提升效率。

提出的方法

• AFD 根据客户端梯度或损失计算出的激活分数图，动态选择全局模型权重的子集用于本地训练。
• 每轮通过所选客户端的平均损失更新激活分数图，实现对高影响力参数的自适应选择。
• 客户端仅训练并更新所选的子模型，从而减少发送至服务器的模型更新大小。
• 服务器将这些部分更新聚合到全局模型中，保持客户端间的一致性。
• 将 AFD 与模型压缩技术（如 DGC）结合，进一步降低通信开销。
• 提出单模型 AFD 变体，使用单一共享激活图而非每个客户端独立的激活图，但在非独立同分布（non-IID）设置下性能较差。

实验结果

研究问题

• RQ1 通过激活分数实现的动态子模型选择，如何影响联邦学习中的通信效率与收敛速度？
• RQ2 AFD 是否能在不降低模型准确率或泛化能力的前提下减少通信成本？
• RQ3 与 Federated Dropout 和 DGC 等现有方法相比，AFD 在收敛时间与准确率方面表现如何？
• RQ4 客户端参与率对 AFD 性能的影响如何，特别是在非独立同分布（non-IID）数据设置下？
• RQ5 在异构数据环境中，单模型 AFD 中使用共享激活图是否能保持性能？

主要发现

• 相较于基线联邦学习，AFD 在收敛时间上最快可提升 57 倍，且相较最先进方法最快可提升 13 倍。
• 在 FEMNIST 数据集上，AFD + DGC 在 58.1 分钟内达到 86.2% 准确率，相较基线实现 53 倍加速。
• 在 Shakespeare 数据集上，AFD + DGC 在 12.4 分钟内达到 53.7% 准确率，相较基线实现 57 倍加速。
• 在 Sentiment140 数据集上，AFD + DGC 在 52.6 分钟内达到 85.3% 准确率，相较基线实现 55 倍加速。
• 相较于基线及最先进方法，AFD 将模型泛化性能最高提升 1.7%。
• 由于异构客户端间平均损失计算不稳定，单模型 AFD 变体在非独立同分布（non-IID）设置下泛化能力较差。