[论文解读] Federated Machine Learning: Concept and Applications

Qiang Yang, Yang Liu+2 more|arXiv (Cornell University)|Feb 13, 2019

Privacy-Preserving Technologies in Data参考文献 73被引用 607

一句话总结

一项定义 Federated Learning、将水平、垂直与联邦迁移学习分类，并回顾用于在不泄露数据的前提下进行协作建模的隐私保护技术与体系结构的综述。

ABSTRACT

Today's AI still faces two major challenges. One is that in most industries, data exists in the form of isolated islands. The other is the strengthening of data privacy and security. We propose a possible solution to these challenges: secure federated learning. Beyond the federated learning framework first proposed by Google in 2016, we introduce a comprehensive secure federated learning framework, which includes horizontal federated learning, vertical federated learning and federated transfer learning. We provide definitions, architectures and applications for the federated learning framework, and provide a comprehensive survey of existing works on this subject. In addition, we propose building data networks among organizations based on federated mechanisms as an effective solution to allow knowledge to be shared without compromising user privacy.

研究动机与目标

• 激发并解决跨行业人工智能发展受到的数据碎片化和隐私担忧问题。
• 定义 Federated Learning 并将其与隐私保护的去中心化协作联系起来。
• 将 federated learning 分类为水平、垂直和联邦迁移学习，并提供体系结构示意图。
• 综述跨组织数据协作的安全框架、隐私技术及潜在激励机制。

提出的方法

• 提供 Federated Learning 的形式化定义以及准确度损失度量（delta-accuracy）。
• 描述安全模型，包括安全多方计算、差分隐私和同态加密，以在训练过程中保护数据。
• 按数据分布对 federated learning 进行分类：水平、垂直和联邦迁移学习，给出适用的体系结构和安全假设。
• 给出水平与垂直 federated learning 的体系结构工作流，包括安全聚合和实体对齐的步骤。
• 讨论在联邦系统中实现公平参与和数据贡献的激励机制以及区块链启发的思路。

实验结果

研究问题

• RQ1 什么是 Federated Learning，如何定义以涵盖隐私保护的去中心化学习？
• RQ2 水平、垂直和联邦迁移学习在数据分布和安全需求方面有何不同？
• RQ3 哪些体系结构和安全机制能够实现跨组织的有效、私密的协作学习？
• RQ4 在 federated learning 生态系统中，哪些实际的激励结构能够促进参与和数据共享？

主要发现

• Federated Learning 使数据所有者在不暴露数据的情况下进行协作式模型训练。
• 水平、垂直和联邦迁移学习针对不同的数据分区场景，提供相应的安全定义。
• 安全聚合、差分隐私和同态加密是在训练过程中保护中间结果和数据的关键技术。
• Vertical federated learning 依赖实体对齐，有时需要受信任的第三方来实现加密的梯度和损失计算。
• Federated transfer learning 通过使用共同表示，将协作扩展到非重叠的特征和样本空间。
• 激励机制和基于区块链的记录可支持公正贡献及联邦平台的可持续性。