[论文解读] A Survey on Heterogeneous Federated Learning

Dashan Gao, Xin Yao+1 more|arXiv (Cornell University)|Oct 10, 2022

Privacy-Preserving Technologies in Data被引用 26

一句话总结

本综述全面回顾异质性联邦学习，涵盖数据空间、统计和系统异质性，并提出分类体系、迁移学习策略和未来方向。

ABSTRACT

Federated learning (FL) has been proposed to protect data privacy and virtually assemble the isolated data silos by cooperatively training models among organizations without breaching privacy and security. However, FL faces heterogeneity from various aspects, including data space, statistical, and system heterogeneity. For example, collaborative organizations without conflict of interest often come from different areas and have heterogeneous data from different feature spaces. Participants may also want to train heterogeneous personalized local models due to non-IID and imbalanced data distribution and various resource-constrained devices. Therefore, heterogeneous FL is proposed to address the problem of heterogeneity in FL. In this survey, we comprehensively investigate the domain of heterogeneous FL in terms of data space, statistical, system, and model heterogeneity. We first give an overview of FL, including its definition and categorization. Then, We propose a precise taxonomy of heterogeneous FL settings for each type of heterogeneity according to the problem setting and learning objective. We also investigate the transfer learning methodologies to tackle the heterogeneity in FL. We further present the applications of heterogeneous FL. Finally, we highlight the challenges and opportunities and envision promising future research directions toward new framework design and trustworthy approaches.

研究动机与目标

• 激发并界定联邦学习（FL）中的异质性问题及其对隐私、安全与效率的影响。
• 提供跨数据空间、统计和系统异质性的异质性FL设置的分类。
• 识别解决FL中异质性的迁移学习策略（基于数据、基于架构、基于模型）。
• 对跨行业的异质性FL应用进行调研，并勾勒挑战和未来研究方向。
• 强调对于异质性FL系统的可信框架设计考量。

提出的方法

• 回顾并综合现有关于数据空间、统计和系统异质性中的异质性FL的文献。
• 基于问题设定和学习目标提出一个精确的异质性FL设置分类。
• 从数据基、架构基、模型基角度分析用于解决FL中的异质性的迁移学习方法。
• 讨论FL中的安全与隐私威胁，并总结保护技术（MPC、HE、DP、TEE）。
• 调研异质性FL的实际应用并概述未来挑战与机遇。

实验结果

研究问题

• RQ1 联邦学习中存在哪些不同类型的异质性？它们如何分类？
• RQ2 如何将迁移学习技术应用于解决FL中的数据空间异质性？
• RQ3 在保护隐私的前提下，有哪些有效策略可以缓解FL中的统计和系统异质性？
• RQ4 跨行业的异质性FL当前的应用、挑战及未来方向是什么？

主要发现

• FL中的异质性是多方面的，包括数据空间、统计和系统异质性，每一类都需要不同的处理。
• 数据空间异质性的分类包括垂直FL和异质联邦迁移学习（Hetero-FTL）。
• 五种迁移学习方法（基于数据、基于架构、基于模型及相关方法）可用于解决FL中的异质性。
• 数据空间异质性，尤其是Hetero-FTL，仍然研究不足，被认为是一个有前景的研究方向。
• 本综述将异质性FL与安全、隐私威胁及保护技术联系起来，突出工业应用和未来研究方向。