[论文解读] Comparative assessment of federated and centralized machine learning

Ibrahim Abdul Majeed, Sagar Kaushik+5 more|arXiv (Cornell University)|Feb 3, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文比较了联邦学习（FL）与集中式机器学习，表明尽管存在非独立同分布（non-IID）数据分布的挑战，联邦学习在小型至中型模型上仍具有成本优势。研究显示，模型大小显著影响联邦学习中的部署成本，且需通过精心的模型设计与压缩来提升效率，尤其是在标签偏移和每样本设备数据有限影响收敛性的情况下。

ABSTRACT

Federated Learning (FL) is a privacy preserving machine learning scheme, where training happens with data federated across devices and not leaving them to sustain user privacy. This is ensured by making the untrained or partially trained models to reach directly the individual devices and getting locally trained "on-device" using the device owned data, and the server aggregating all the partially trained model learnings to update a global model. Although almost all the model learning schemes in the federated learning setup use gradient descent, there are certain characteristic differences brought about by the non-IID nature of the data availability, that affects the training in comparison to the centralized schemes. In this paper, we discuss the various factors that affect the federated learning training, because of the non-IID distributed nature of the data, as well as the inherent differences in the federating learning approach as against the typical centralized gradient descent techniques. We empirically demonstrate the effect of number of samples per device and the distribution of output labels on federated learning. In addition to the privacy advantage we seek through federated learning, we also study if there is a cost advantage while using federated learning frameworks. We show that federated learning does have an advantage in cost when the model sizes to be trained are not reasonably large. All in all, we present the need for careful design of model for both performance and cost.

研究动机与目标

• 分析非独立同分布（non-IID）数据分布（尤其是标签偏移和单标签设备）对联邦学习性能的影响。
• 在数据偏移条件下，比较联邦随机梯度下降（federated SGD）与联邦平均算法（federated averaging）同集中式梯度下降在收敛性和准确性方面的表现。
• 评估在云平台上的联邦学习与集中式训练及部署的成本影响。
• 识别联邦学习中的关键成本驱动因素，包括模型大小、聚合轮数及每日轮数。
• 探索模型压缩与设计策略，以在不牺牲性能的前提下减小模型大小与部署成本。

提出的方法

• 通过多种数据分布场景（包括标签偏移和单标签设备）对联邦学习与集中式训练进行实证评估。
• 采用联邦平均与联邦SGD结合随机梯度下降的方法，比较不同数据划分下的收敛性与准确性。
• 基于云基础设施指标（如EC2实例运行时间、S3数据传输量及模型更新的消息负载大小）对成本进行建模。
• 分析模型大小、聚合轮数及每日轮数对成本的影响，以识别关键成本驱动因素。
• 考虑特征哈希与神经网络剪枝等模型压缩技术，以减小模型大小并降低部署成本。
• 评估安全措施（如差分隐私）与模型性能之间的权衡，指出随着匿名化程度提高，性能会下降。

实验结果

研究问题

• RQ1 在非独立同分布数据中，标签偏移如何影响联邦学习相较于集中式学习的收敛性与性能？
• RQ2 每台设备仅包含一个标签对联邦学习性能有何影响？
• RQ3 模型大小如何影响在云平台上联邦学习训练与部署的总成本？
• RQ4 聚合轮数与每日轮数在决定训练与基础设施成本方面起到什么作用？
• RQ5 模型压缩与特征缩减技术能否有效降低联邦学习中的部署成本，且不造成显著的性能损失？

主要发现

• 在非独立同分布数据（尤其是单标签或高度偏移的标签分布）下，联邦学习的收敛速度更慢，且模型准确性低于集中式训练。
• 每台设备的样本数量与标签分布显著影响模型性能，过多相同标签的样本可能降低学习效果。
• 联邦学习中的模型部署成本主要由S3模型分发的读取操作主导，因此模型大小是关键成本因素。
• 训练成本在不同模型大小（如15KB至15,000KB）下相对稳定，但部署成本随模型增大而急剧上升。
• 每日聚合轮数增加可缩短EC2实例的运行时间，从而降低总训练成本。
• 模型压缩技术（如特征哈希与神经网络剪枝）可有效减小模型大小并降低部署成本，且性能损失较小。