[论文解读] A Systematic Literature Review on Federated Machine Learning: From A Software Engineering Perspective

Sin Kit Lo, Qinghua Lu+3 more|arXiv (Cornell University)|Jul 22, 2020

Privacy-Preserving Technologies in Data参考文献 212被引用 36

一句话总结

对联邦学习进行从软件工程视角的系统性文献综述，综述了跨越联邦学习生命周期（背景、需求、体系结构、实现、评估）的231个原始研究，并识别出趋势与挑战。

ABSTRACT

Federated learning is an emerging machine learning paradigm where clients train models locally and formulate a global model based on the local model updates. To identify the state-of-the-art in federated learning and explore how to develop federated learning systems, we perform a systematic literature review from a software engineering perspective, based on 231 primary studies. Our data synthesis covers the lifecycle of federated learning system development that includes background understanding, requirement analysis, architecture design, implementation, and evaluation. We highlight and summarise the findings from the results, and identify future trends to encourage researchers to advance their current work.

研究动机与目标

• 从软件工程视角提供对联邦学习系统开发的整体概览。
• 识别在联邦学习中的研究活动、主题和专家。
• 分析在软件开发生命周期各阶段中的联邦学习需求、体系结构设计、实现与评估。
• 突出挑战与未来趋势，以指导从业者和研究人员。
• 提供数据驱动的综合，以为采用与系统开发决策提供依据。

提出的方法

• 遵循 Kitchenham 指南（2007）的系统性文献综述。
• 从 ACM DL、IEEE Xplore、ScienceDirect、Springer、ArXiv 和 Google Scholar（2016-2020）中选择来源。
• 使用四个质量标准（引用率、方法、结果、未来工作）进行纳入/排除标准与质量评估。
• 对231个原始研究进行数据提取，并由两名研究者交叉核对编码。
• 向前向后溯源以扩充初始集合。
• 将研究按联邦学习软件生命周期类别进行分类（背景、需求、体系结构、实现、评估）。

实验结果

研究问题

• RQ1 RQ1: 联邦学习是什么？
• RQ2 RQ1.1: 为什么采用联邦学习？
• RQ3 RQ1.2: 联邦学习的应用有哪些？
• RQ4 RQ1.3: 联邦学习的应用处理哪些数据？
• RQ5 RQ1.4: 联邦学习应用中的客户端数据分布是怎样的？

主要发现

• 联邦学习是一种分布式/中心协调或去中心化的训练方法，在本地数据从不离开设备；更新或梯度被共享以形成全局模型。
• 采用动机集中在数据隐私和通信效率，以及可扩展性收益；在非独立同分布（non-IID）数据下的模型性能仍是一个挑战。
• 应用与数据类型显示图像数据、结构化数据和文本最为常见；MNIST 是经常使用的数据集；许多研究是概念验证或仿真，而非生产系统。
• 客户端数据分布常为非IID、IID或未指明；非IID 分布显著影响模型性能，是 FedAvg 扩展研究的重点。
• 关于通信效率、异质性（统计和系统层面）、数据安全和客户端安全性的研究活动显著增加，特别是在 2019 年前后；挑战包括掉线处理、对非IID 的鲁棒性以及可扩展性。