[论文解读] A Systematic Literature Review on Federated Learning: From A Model Quality Perspective

Yi Liu, Li Zhang+2 more|arXiv (Cornell University)|Dec 1, 2020

Privacy-Preserving Technologies in Data参考文献 135被引用 23

一句话总结

本篇系统性文献回顾分析了147项近期研究，以识别提升联邦学习（FL）模型质量的关键因素，重点聚焦于模型设计、隐私保护及激励机制。研究发现，联邦学习在确保强隐私保护的同时，性能与非联邦学习模型相当（准确率差异在1%至5%之间），并提出了一个面向产业应用的实用联邦学习实施框架。

ABSTRACT

As an emerging technique, Federated Learning (FL) can jointly train a global model with the data remaining locally, which effectively solves the problem of data privacy protection through the encryption mechanism. The clients train their local model, and the server aggregates models until convergence. In this process, the server uses an incentive mechanism to encourage clients to contribute high-quality and large-volume data to improve the global model. Although some works have applied FL to the Internet of Things (IoT), medicine, manufacturing, etc., the application of FL is still in its infancy, and many related issues need to be solved. Improving the quality of FL models is one of the current research hotspots and challenging tasks. This paper systematically reviews and objectively analyzes the approaches to improving the quality of FL models. We are also interested in the research and application trends of FL and the effect comparison between FL and non-FL because the practitioners usually worry that achieving privacy protection needs compromising learning quality. We use a systematic review method to analyze 147 latest articles related to FL. This review provides useful information and insights to both academia and practitioners from the industry. We investigate research questions about academic research and industrial application trends of FL, essential factors affecting the quality of FL models, and compare FL and non-FL algorithms in terms of learning quality. Based on our review's conclusion, we give some suggestions for improving the FL model quality. Finally, we propose an FL application framework for practitioners.

研究动机与目标

• 通过系统性文献回顾，识别并分析影响联邦学习（FL）模型质量的主要因素。
• 研究联邦学习在物联网、医疗保健和智慧城市等不同领域中的研究与应用趋势。
• 对比联邦学习与非联邦学习方法的学习质量，回应实践者对隐私与准确率权衡的关切。
• 评估隐私保护机制与激励策略在提升联邦学习模型性能中的作用。
• 基于对147项研究的实证发现，为产业实践者提出一个实用的联邦学习应用框架。

提出的方法

• 对2016至2022年间发表的147项近期联邦学习相关研究进行了系统性文献回顾。
• 根据模型设计（横向联邦学习与纵向联邦学习）、训练方法、隐私保护机制及激励策略对研究进行分类。
• 分析客户端与服务器端算法，包括FedProx、SMA、FOCUS及客户端聚类技术。
• 评估基于加密的隐私保护机制及其在不同联邦学习场景（如横向联邦学习、纵向联邦学习）中的适用性。
• 评估激励机制，重点关注数据质量、计算成本、通信成本及奖励结构（货币与非货币形式）。
• 利用报告的准确率、精确率和收敛性指标，对联邦学习与非联邦学习模型进行对比分析。

实验结果

研究问题

• RQ1 在不同领域中，联邦学习的研究与应用趋势有哪些主导特征？
• RQ2 哪些模型设计与训练策略显著提升了联邦学习模型质量，特别是在横向与纵向联邦学习中？
• RQ3 隐私保护机制如何影响联邦学习系统的安全性与性能？
• RQ4 哪些激励机制能有效鼓励高质量数据贡献并提升全局模型性能？
• RQ5 联邦学习相较于非联邦学习训练，在多大程度上会牺牲学习质量？哪些因素影响这一差距？

主要发现

• 在92%的情况下，联邦学习的性能与非联邦学习模型相当，准确率差异在1%至5%之间，这在实践中通常可接受。
• 客户端算法如联邦用户表征学习与多视角联邦学习显著提升了模型质量，尤其在数据异构环境中表现突出。
• 服务器端聚合方法如FedProx、SMA与FOCUS在非独立同分布（non-IID）数据条件下，对提升收敛速度与准确率表现出强大效果。
• 基于客户端聚类的训练算法在提升全局模型质量方面优于其他方法，尤其在数据异构的联邦学习环境中。
• 尽管大多数加密机制在理论上是可靠的，但很少有研究关注纵向联邦学习、联邦迁移学习或强化学习中的隐私保护质量——凸显了研究空白。
• 大多数激励机制仅依赖货币奖励；将货币与非货币激励相结合，仍是未来研究中尚未探索但极具潜力的方向。