[论文解读] Fedlearn-Algo: A flexible open-source privacy-preserving machine learning platform

Bo Liu, Chaowei Tan+8 more|arXiv (Cornell University)|Jul 8, 2021

Privacy-Preserving Technologies in Data参考文献 17被引用 12

一句话总结

Fedlearn-Algo 是一个开源的隐私保护机器学习平台，引入了新颖的纵向联邦学习算法——纵向联邦核二分类和纵向联邦随机森林，以及一个灵活的通信模块。该平台通过同态加密和统一的数据传输接口，实现了在数据分区各方之间的高效、安全的模型训练，在真实世界部署中相比现有纵向FL模型展现出更高的效率。

ABSTRACT

In this paper, we present Fedlearn-Algo, an open-source privacy preserving machine learning platform. We use this platform to demonstrate our research and development results on privacy preserving machine learning algorithms. As the first batch of novel FL algorithm examples, we release vertical federated kernel binary classification model and vertical federated random forest model. They have been tested to be more efficient than existing vertical federated learning models in our practice. Besides the novel FL algorithm examples, we also release a machine communication module. The uniform data transfer interface supports transferring widely used data formats between machines. We will maintain this platform by adding more functional modules and algorithm examples. The code is available at https://github.com/fedlearnAI/fedlearn-algo.

研究动机与目标

• 解决跨机构机器学习中的数据隐私、通信成本和算法性能挑战。
• 开发并发布适用于企业级（toB）和政府级（toG）应用真实世界部署的高效纵向联邦学习算法。
• 提供一个灵活、可扩展的开源平台，支持新颖及标准的隐私保护机器学习算法。
• 通过统一的、与硬件无关的数据传输接口和优化的协议设计，减少多机学习中的通信瓶颈。
• 通过集成同态加密和模块化通信组件，实现安全、可扩展且互操作的联邦学习。

提出的方法

• 使用同态加密在加密标签上跨各方安全计算标签统计信息，实现纵向联邦决策树中的隐私保护特征分割。
• 采用统一的数据传输接口，支持广泛使用的数据格式，实现联邦设置中机器之间的无缝通信。
• 提出一种纵向联邦核二分类模型，利用核方法在水平分区数据中实现非线性决策边界。
• 开发一种纵向联邦随机森林模型，其中每个被动方基于特征分区计算加密的标签分位数统计信息，主动方选择最优分割。
• 设计一种可扩展的平台架构，包含通信、加密和算法实现的模块化组件，支持与TensorFlow、PyTorch和Scikit-learn的集成。
• 基于解密后的标签统计信息计算最大信息增益，采用树分裂策略，在保护隐私的同时确保模型性能。

实验结果

研究问题

• RQ1 如何设计纵向联邦学习模型，使其在真实世界部署中比现有方法更高效？
• RQ2 同态加密在实现跨分布式各方的安全、隐私保护标签统计计算中起到什么作用？
• RQ3 统一的、可扩展的通信接口如何降低多机联邦学习系统中的实现复杂度？
• RQ4 像基于核方法和随机森林的新颖纵向FL算法，能否在训练效率和准确率方面超越现有模型？
• RQ5 模块化开源平台如何加速隐私保护机器学习的研究与开发？

主要发现

• Fedlearn-Algo 发布的纵向联邦核二分类和随机森林模型在真实世界实践中展现出比现有纵向FL模型更高的效率。
• 同态加密的使用实现了在不暴露原始标签的情况下安全计算标签统计信息，从而在模型训练过程中保护了数据隐私。
• 统一的数据传输接口支持多种常见数据格式，降低了集成开销，增强了在不同机器学习工具之间的互操作性。
• 平台的模块化设计使得可轻松扩展新算法和通信协议，例如异步和去中心化拓扑结构。
• 平台支持未来集成标准隐私保护技术，包括SMPC、差分隐私和知识蒸馏方法。
• 该框架已具备生产环境部署能力，专为涉及多方敏感数据的企业和政府应用而设计。