[论文解读] Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection

Qinbin Li, Zeyi Wen+1 more|arXiv (Cornell University)|Jul 23, 2019

Privacy-Preserving Technologies in Data参考文献 14被引用 76

一句话总结

本文通过识别关键设计维度——数据划分、模型类型、隐私机制、通信架构、系统规模和联邦动机——提出了一套全面的联邦学习系统框架，同时强调了异构性和自主性在其中被低估的作用。该研究对现有系统进行了系统性分类与比较，揭示了在可扩展性、效率和现实假设方面存在的关键缺口，并为隐私保护的协作式机器学习指明了未来研究方向。

ABSTRACT

Federated learning has been a hot research area in enabling the collaborative training of machine learning models among different organizations under the privacy restrictions. As researchers try to support more machine learning models with different privacy-preserving approaches, there is a requirement in developing systems and infrastructures to ease the development of various federated learning algorithms. Just like deep learning systems such as Caffe, PyTorch, and Tensorflow that boost the development of deep learning algorithms, federated learning systems are equivalently important, and face challenges from various issues such as unpractical system assumptions, scalability and efficiency. Inspired by federated systems in other fields such as databases and cloud computing, we investigate the existing characteristics of federated learning systems. We find that two important features for federated systems in other fields, i.e., heterogeneity and autonomy, are rarely considered in the existing federated learning systems. Moreover, we provide a thorough categorization for federated learning systems according to six different aspects, including data partition, machine learning model, privacy mechanism, communication architecture, scale of federation and motivation of federation. The categorization can help the design of federated learning systems as shown in our case studies. Lastly, we take a systematic comparison among the existing federated learning systems and present future research opportunities and directions.

研究动机与目标

• 解决联邦学习系统在鲁棒性、可扩展性和隐私感知方面存在的不足，使其更符合现实世界约束。
• 识别并强调联邦学习系统中被忽视的异构性与自主性的重要性，借鉴数据库与云计算系统的经验。
• 基于六个关键维度对联邦学习系统进行全面分类，以指导系统设计。
• 对现有联邦学习系统进行系统性比较，揭示当前假设与实现中的局限性。
• 为联邦学习系统向实际部署推进，提出未来研究方向。

提出的方法

• 作者通过在六个维度上评估现有联邦学习系统，开展对比分析：数据划分、机器学习模型、隐私机制、通信架构、联邦规模和联邦动机。
• 借鉴数据库与云计算系统中的成熟范例，指出在这些领域中至关重要的异构性与自主性，在当前联邦学习系统中仍被低估。
• 本文提出一个系统化的分类框架，基于上述六个维度对联邦学习系统进行分类，以提供更清晰的设计指导。
• 通过案例研究，展示该分类框架如何指导设计更高效且更贴近现实的联邦学习系统。
• 对现有系统进行对比评估，识别出在系统假设、可扩展性与效率方面的不足。
• 作者整合洞察，提出未来研究机会，尤其聚焦于提升系统现实性、隐私保障能力与互操作性。

实验结果

研究问题

• RQ1 现有联邦学习系统如何处理系统异构性与组织自主性？为何这些因素被低估？
• RQ2 区分联邦学习系统的关键架构与设计维度是什么？如何实现系统化分类？
• RQ3 当前联邦学习系统在可扩展性、通信效率与隐私约束方面，多大程度上反映了真实的部署条件？
• RQ4 从数据库与云计算系统中获得的洞见，如何改进联邦学习平台的设计？
• RQ5 联邦学习系统面临的最紧迫开放挑战与未来研究方向是什么？

主要发现

• 现有联邦学习系统常基于过于简单或不切实际的系统行为假设，例如同质客户端与集中式协调，从而限制了其在真实世界中的适用性。
• 数据、模型与系统资源的异构性，以及参与组织的自主性，是关键但尚未被充分探索的方面。
• 所提出的六维分类框架有助于更清晰地理解与比较现有联邦学习系统，支持更优的系统设计。
• 对现有系统的系统性比较揭示了在可扩展性、通信效率与隐私机制集成方面存在显著缺口。
• 未来研究应优先构建支持真实、去中心化与异构联邦环境的系统，并提供强有力的隐私保障。
• 本研究明确指出，亟需新型系统抽象与基础设施，其成熟度应与PyTorch和TensorFlow等深度学习框架相匹配。