[论文解读] Improving Accuracy of Federated Learning in Non-IID Settings

Mustafa Safa Özdayi, Murat Kantarcıoğlu+1 more|arXiv (Cornell University)|Oct 14, 2020

Privacy-Preserving Technologies in Data参考文献 9被引用 9

一句话总结

本文提出四种轻量级、无需通信的技巧，以提升非独立同分布（non-i.i.d.）数据设置下联邦学习（FL）的准确性：在服务器端使用一个小而均衡的数据子集进行训练、使用L2范数约束的投影梯度下降、服务器端动量，以及自适应学习率调整。这些方法共同使联邦学习验证准确率相比基线提升超过12%，在CIFAR-10上达到85.7%，仅比集中式训练性能低4.7%，且客户端或服务器的计算开销极低。

ABSTRACT

Federated Learning (FL) is a decentralized machine learning protocol that allows a set of participating agents to collaboratively train a model without sharing their data. This makes FL particularly suitable for settings where data privacy is desired. However, it has been observed that the performance of FL is closely tied with the local data distributions of agents. Particularly, in settings where local data distributions vastly differ among agents, FL performs rather poorly with respect to the centralized training. To address this problem, we hypothesize the reasons behind the performance degradation, and develop some techniques to address these reasons accordingly. In this work, we identify four simple techniques that can improve the performance of trained models without incurring any additional communication overhead to FL, but rather, some light computation overhead either on the client, or the server-side. In our experimental analysis, combination of our techniques improved the validation accuracy of a model trained via FL by more than 12% with respect to our baseline. This is about 5% less than the accuracy of the model trained on centralized data.

研究动机与目标

• 为解决在客户端本地数据分布非独立同分布（non-i.i.i.d.）时联邦学习性能显著下降的问题。
• 识别在非独立同分布联邦学习中性能退化的主要原因，特别是本地模型之间的假设冲突。
• 开发无需增加通信开销的改进技术，仅依赖客户端或服务器端的轻量计算，以提升联邦学习准确性。
• 证明对联邦学习训练流程进行简单、模块化的修改，即可在具有挑战性的数据分布设置下实现显著的准确率提升。

提出的方法

• 通过向服务器提供训练数据中一个小型均衡子集（5%），在每次聚合轮次后对全局模型进行微调，实现服务器端训练。
• 通过约束本地模型的L2范数，应用投影梯度下降，以防止发散并减少假设冲突。
• 在服务器端实现动量，使用动量常数（如0.5或0.9），以稳定并加速模型聚合过程中的收敛。
• 在服务器端引入自适应学习率，根据参与客户端的数量进行调整，采用基于阈值的规则来缩放更新。
• 在不改变FedAvg框架结构的前提下，组合使用这些技术，确保向后兼容性和易于部署。
• 使用标准联邦学习训练流程，采用FedAvg聚合（加权平均），并在CIFAR-10上使用Fixup初始化的ResNet20进行评估。

实验结果

研究问题

• RQ1 在非独立同分布数据分布下，联邦学习性能退化的主要原因是什么？
• RQ2 是否可以在不增加客户端与服务器间通信开销的前提下，实现非独立同分布联邦学习的性能改进？
• RQ3 本地模型之间的假设冲突在多大程度上影响联邦学习中全局模型的收敛性和准确性？
• RQ4 轻量级服务器端计算（如微调、动量、自适应学习率）在多大程度上可缓解非独立同分布设置下的准确率下降？
• RQ5 在保持通信效率的前提下，哪些技术组合能在非独立同分布联邦学习中实现最大准确率提升？

主要发现

• 在非独立同分布数据设置下（FL - NIID(5)）的基线联邦学习设置，验证准确率仅为73.0%，相比集中式训练（90.4%）下降超过17个百分点。
• 使用5%数据进行服务器端训练，将准确率提升至83.7%，相比基线提升10.7个百分点。
• 采用L2范数阈值为3的投影梯度下降，将准确率提升至77.5%，相比基线提升4.5个百分点。
• 将投影梯度下降与高斯噪声添加（标准差=1×10⁻⁴）结合，将准确率提升至79.6%，相比基线提升6.6个百分点。
• 使用动量常数为0.5的服务器端动量，将准确率提升至80.9%，相比基线提升7.9个百分点；而动量常数为0.9时性能下降，表明对超参数选择敏感。
• 最优组合（5%服务器端数据、动量常数0.9、自适应学习率）达到85.7%的验证准确率，相比基线提升12.7个百分点，距离集中式训练性能仅差4.7%。