[论文解读] Federated Learning: Opportunities and Challenges

Priyanka Mary Mammen|arXiv (Cornell University)|Jan 14, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用 144

一句话总结

联邦学习使协作式ML在不分享原始数据的情况下成为可能，但在训练、隐私与安全方面面临挑战；本文综述了架构、应用、防御和最新发展。

ABSTRACT

Federated Learning (FL) is a concept first introduced by Google in 2016, in which multiple devices collaboratively learn a machine learning model without sharing their private data under the supervision of a central server. This offers ample opportunities in critical domains such as healthcare, finance etc, where it is risky to share private user information to other organisations or devices. While FL appears to be a promising Machine Learning (ML) technique to keep the local data private, it is also vulnerable to attacks like other ML models. Given the growing interest in the FL domain, this report discusses the opportunities and challenges in federated learning.

研究动机与目标

• 将联邦学习作为在敏感领域的隐私保护协作学习范式进行动机化。
• 提供对 FL 架构、类型和应用的结构化概述。
• 识别 FL 系统中的训练瓶颈和异质性问题。
• 综述 FL 中的隐私与安全威胁及防御。
• 强调最近的发展和未来在 FL 方面的研究方向。

提出的方法

• 对关键 FL 架构及类别（纵向、横向、转移、跨机构、跨设备）进行文献综述。
• 讨论通信开销和数据/系统异质性等训练瓶颈（FedAvg及替代方案）。
• 分析隐私和安全威胁，包括成员资格推断、数据投毒、模型投毒、后门攻击，以及防御措施（安全计算、差分隐私、可信执行环境）。
• 回顾最近的 FL 发展（一次性 FL、激励机制、FL 作为服务、异步 FL、基于区块链的 FL）。
• 在医疗、交通、金融和 NLP 领域展示 FL 的应用。

实验结果

研究问题

• RQ1 FL 的主要架构有哪些，它们在数据分布和参与方面有何不同？
• RQ2 FL 的主要训练、隐私和安全挑战有哪些，现有或提出的防御措施是什么？
• RQ3 哪些关键应用领域对 FL 有利，哪些示例能展示其潜力？
• RQ4 哪些新兴发展和方向可以解决 FL 的可扩展性、激励与隐私问题？

主要发现

• 联邦学习使得在不交换私有数据的前提下进行协作模型训练成为可能，且在医疗保健、交通、金融和 NLP 等领域具有潜力。
• FL 的训练受到通信开销和设备及数据的异质性影响，需要新的聚合和效率技术。
• FL 易受一系列攻击影响，包括成员推断、数据投毒、模型投毒和后门攻击，促使采用如安全计算、差分隐私和可信执行环境等防御机制。
• 防御往往会降低模型准确性或带来计算开销；在隐私、安全与性能之间取得平衡仍是一个待解决的问题。
• 最近的发展包括一次性 FL、蒸馏一次性 FL、激励机制、作为服务的 FL、异步 FL，以及基于区块链的 FL 框架。