[论文解读] Decentralized Federated Learning: Fundamentals, State of the Art, Frameworks, Trends, and Challenges

Enrique Tomás Martínez Beltrán, Mario Quiles Pérez+6 more|arXiv (Cornell University)|Nov 15, 2022

Privacy-Preserving Technologies in Data参考文献 206被引用 57

一句话总结

论文综述去中心化联邦学习（DFL），阐明基本原理、分类、框架、应用场景，以及新兴趋势、经验教训和待解决的挑战。它将 DFL 与 CFL 区分开来，并将框架映射到用例。

ABSTRACT

In recent years, Federated Learning (FL) has gained relevance in training collaborative models without sharing sensitive data. Since its birth, Centralized FL (CFL) has been the most common approach in the literature, where a central entity creates a global model. However, a centralized approach leads to increased latency due to bottlenecks, heightened vulnerability to system failures, and trustworthiness concerns affecting the entity responsible for the global model creation. Decentralized Federated Learning (DFL) emerged to address these concerns by promoting decentralized model aggregation and minimizing reliance on centralized architectures. However, despite the work done in DFL, the literature has not (i) studied the main aspects differentiating DFL and CFL; (ii) analyzed DFL frameworks to create and evaluate new solutions; and (iii) reviewed application scenarios using DFL. Thus, this article identifies and analyzes the main fundamentals of DFL in terms of federation architectures, topologies, communication mechanisms, security approaches, and key performance indicators. Additionally, the paper at hand explores existing mechanisms to optimize critical DFL fundamentals. Then, the most relevant features of the current DFL frameworks are reviewed and compared. After that, it analyzes the most used DFL application scenarios, identifying solutions based on the fundamentals and frameworks previously defined. Finally, the evolution of existing DFL solutions is studied to provide a list of trends, lessons learned, and open challenges.

研究动机与目标

• 识别并定义区分 DFL 与 CFL 的基本要素（架构、拓扑、通信、安全、KPI）。
• 整理并比较现有的开源框架，这些框架能够实现 DFL。
• 分析 DFL 应用场景（医疗保健、工业4.0、移动、军事、车辆）及其需求。
• 提取趋势、经验教训和待解决的挑战，为未来研究与实践提供指南。

提出的方法

• 评审并综合关于 DFL 基本组成要素的文献（联邦架构、拓扑、通信机制、安全/隐私、KPI）。
• 开发一个分类法和框架，以基于架构、拓扑、数据分布、角色、去中心化等对 DFL 方案进行分类。
• 调研开源 DFL 框架，并将其映射到用例适用性。

实验结果

研究问题

• RQ1 DFL 的基本方面是什么（架构、拓扑、通信、安全、KPI），以及它们如何在解决方案中组合？
• RQ2 存在哪些 DFL 框架，以及它们为构建 DFL 解决方案提供了哪些基础？
• RQ3 最相关的 DFL 应用场景的主要特征是什么？
• RQ4 在 DFL 领域出现了哪些趋势、经验教训和挑战？

主要发现

• DFL 基本要素包括联邦架构、网络拓扑、通信机制、安全/隐私、KPI 以及优化技术。
• DFL 架构按联邦类型（跨筒仓 cross-silo 与跨设备 cross-device）、参与者角色（训练者 trainer、聚合者 aggregator、代理 proxy、空闲 idle）以及去中心化模式（DFL、SDFL、CFL）进行分类。
• 一个分类法和对比表总结了不同研究在 DFL 中如何处理数据分布、拓扑、通信和安全等方面。
• 本文列出代表性应用场景（医疗保健、工业4.0、移动服务、军事、车辆），并讨论解决方案如何应对这些场景。
• 它提供了趋势、经验教训和待解决的挑战的综合分析，以指导未来的 DFL 研究与实践。
• 本文定位为对 DFL 的综合文献综述与分类法，弥补了以往仅关注 CFL 或较窄方面的调查所留下的空白。