[论文解读] FLINT: A Platform for Federated Learning Integration

Ewen Wang, Ajay Kannan+3 more|arXiv (Cornell University)|Feb 24, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

FLINT 是一个设备-云协同的联邦学习平台，可与现有的集中式机器学习系统集成，实现对跨设备联邦学习部署的系统性评估。通过结合真实模拟、资源估算和决策工作流，FLINT 帮助团队降低联邦学习项目风险，优化模型与系统设计，并以可衡量的性能和隐私优势，负责任地将联邦学习扩展至数亿用户。

ABSTRACT

Cross-device federated learning (FL) has been well-studied from algorithmic, system scalability, and training speed perspectives. Nonetheless, moving from centralized training to cross-device FL for millions or billions of devices presents many risks, including performance loss, developer inertia, poor user experience, and unexpected application failures. In addition, the corresponding infrastructure, development costs, and return on investment are difficult to estimate. In this paper, we present a device-cloud collaborative FL platform that integrates with an existing machine learning platform, providing tools to measure real-world constraints, assess infrastructure capabilities, evaluate model training performance, and estimate system resource requirements to responsibly bring FL into production. We also present a decision workflow that leverages the FL-integrated platform to comprehensively evaluate the trade-offs of cross-device FL and share our empirical evaluations of business-critical machine learning applications that impact hundreds of millions of users.

研究动机与目标

• 解决大规模生产环境中跨设备联邦学习（FL）缺乏系统性评估框架的问题。
• 降低从集中式训练迁移至联邦学习所带来的风险，包括性能损失、用户体验下降和基础设施成本超支。
• 为机器学习从业者提供工具，以在生产部署前估算系统资源需求、模型性能和现实世界约束。
• 实现集中式与设备端机器学习的共存模式，充分利用云端和设备端的数据与计算能力。
• 建立一个决策工作流，对联邦学习设计选择中的权衡（如训练模式、超参数和模型复杂度）进行实证评估。

提出的方法

• FLINT 与 LinkedIn 现有的集中式机器学习平台集成，为联邦学习实验提供统一环境。
• 在 FedScale 基础上扩展了仿真能力，引入设备配置文件、真实世界使用轨迹和虚拟时钟，以建模设备可用性和异构性。
• 平台支持对数据偏移、设备计算与内存限制以及网络负载限制的真实模拟。
• 实施决策工作流，以评估不同训练模式（同步 vs. 异步）、模型架构和超参数之间的权衡。
• 系统估算基础设施成本、模型大小、设备端推理延迟和数据负载量，以指导生产决策。
• 向 FedScale 开源项目贡献代码，以提升联邦学习基准测试的仿真保真度。

实验结果

研究问题

• RQ1 如何通过设备-云协同平台，在大规模生产环境中系统性地评估跨设备联邦学习的可行性与权衡？
• RQ2 影响联邦学习训练性能和用户体验的实际系统约束（如设备可用性、数据偏移和计算异构性）有哪些？
• RQ3 机器学习从业者如何在大规模部署联邦学习模型前估算基础设施成本和资源需求？
• RQ4 模型架构和超参数对异构设备环境中设备端性能和系统整体收敛性有何影响？
• RQ5 平台如何与现有集中式机器学习系统集成，以实现安全、数据驱动的联邦学习迁移？

主要发现

• FLINT 能够准确估算系统资源需求，包括数据负载量、模型大小和设备端推理延迟，这些是生产部署的关键因素。
• 平台的仿真框架捕捉了真实世界的设备可用性模式，显示高峰与低峰参与度之间存在 14 倍的波动，显著高于以往基准。
• 在三个关键业务应用（广告、消息分类和搜索排序）上的实证评估表明，联邦学习可替代集中式训练，同时提升用户隐私保护和系统性能。
• 联邦学习中的模型性能对数据偏移和设备异构性高度敏感，当模型未针对设备端约束进行优化时，低端设备上的性能会显著下降。
• 决策工作流帮助团队识别最优超参数和训练模式，降低生产发布时意外失败的风险。
• 通过与集中式机器学习平台集成，FLINT 允许从业者在熟悉环境中评估联邦学习，减少开发人员惯性，加速采纳进程。