[论文解读] IBM Federated Learning: an Enterprise Framework White Paper V0.1

Heiko Ludwig, Nathalie Baracaldo+22 more|arXiv (Cornell University)|Jul 22, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用 111

一句话总结

IBM Federated Learning 提供一个企业就绪的框架，用于在分布式数据源之间执行联邦学习，具备模块化架构，支持多种 ML 库和隐私保护选项。

ABSTRACT

Federated Learning (FL) is an approach to conduct machine learning without centralizing training data in a single place, for reasons of privacy, confidentiality or data volume. However, solving federated machine learning problems raises issues above and beyond those of centralized machine learning. These issues include setting up communication infrastructure between parties, coordinating the learning process, integrating party results, understanding the characteristics of the training data sets of different participating parties, handling data heterogeneity, and operating with the absence of a verification data set. IBM Federated Learning provides infrastructure and coordination for federated learning. Data scientists can design and run federated learning jobs based on existing, centralized machine learning models and can provide high-level instructions on how to run the federation. The framework applies to both Deep Neural Networks as well as ``traditional'' approaches for the most common machine learning libraries. {\proj} enables data scientists to expand their scope from centralized to federated machine learning, minimizing the learning curve at the outset while also providing the flexibility to deploy to different compute environments and design custom fusion algorithms.

研究动机与目标

• 在数据因隐私、监管或物流约束而无法集中时，在企业环境中推动并定义联邦学习。
• 提出一个易于使用、可扩展的框架，将联邦学习与现有 ML 工作流和库集成。
• 提供一个支持多样化计算环境和数据异质性的架构，同时实现安全协作。
• 通过简化 ML 专业人员和 IT 运维的上手流程，促进联邦学习在生产中的快速部署。

提出的方法

• 提出一个正式的 FL 模型，包含聚合器 A 和参与方 Pi，详细说明查询 L 和融合 F 过程，这些过程从本地更新更新全局模型 MG。
• 描述 IBM Federated Learning 的分层架构，包括 Connection、Protocol Handler、Data Handler、FusionHandler、LocalTrainingHandler 和 FLModel 适配器。
• 解释如何在联邦设置中使用 IterAvg/FedAvg 和基于 ID3 的方法分别训练神经网络和决策树。
• 通过 FLModel 封装器（如 Keras、PyTorch、TensorFlow、Scikit-learn）支持多种 ML 库，以实现跨库互操作性。
• 讨论隐私保护扩展，包括差分隐私和安全多方计算，并提供灵活的 API 以整合加密技术。

实验结果

研究问题

• RQ1 如何在企业环境中有效实现联邦学习，数据在云端、局域数据中心和边缘设备分区？
• RQ2 需要哪些架构模式和组件以将 FL 集成到现有 ML 工作流中，同时让数据科学家的学习曲线尽可能低？
• RQ3 如何在一个模块化的 IBM Federated Learning 框架中实现常见的 FL 算法（如 FedAvg、Krum、Zeno）？
• RQ4 在不带来过高通信或计算开销的情况下，哪些隐私与安全机制（差分隐私、SMC）可以集成到框架中？
• RQ5 如何通过通用 API 支持不同的 ML 库，在联邦设置中训练各类模型？

主要发现

• 定义一个模块化的 IBM Federated Learning 架构，在聚合器和参与方栈之间实现清晰的职责分离。
• 展示如何通过专用的 FusionHandler 和 LocalTrainingHandler 对实现神经网络与决策树的集成。
• 演示通过一个通用的 FLModel 接口与多种 ML 库的集成，使如 Keras 和 Scikit-learn 的模型实现复用。
• 在框架内概述对隐私保护技术的支持，如差分隐私和安全多方计算。
• 确定在企业和多云环境中的部署的实际考虑因素，包括网络、安全与运营弹性。