[论文解读] A review on different techniques used to combat the non-IID and heterogeneous nature of data in FL

Venkataraman Natarajan Iyer|arXiv (Cornell University)|Jan 1, 2024

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本综述从非独立同分布（non-IID）与异构数据的角度，回顾联邦学习面临的挑战，并调查解决这些问题的算法，包括 FedAvg 的变体、集合蒸馏、鲁棒聚合和去中心化的互知识传递。

ABSTRACT

Federated Learning (FL) is a machine-learning approach enabling collaborative model training across multiple decentralized edge devices that hold local data samples, all without exchanging these samples. This collaborative process occurs under the supervision of a central server orchestrating the training or via a peer-to-peer network. The significance of FL is particularly pronounced in industries such as healthcare and finance, where data privacy holds paramount importance. However, training a model under the Federated learning setting brings forth several challenges, with one of the most prominent being the heterogeneity of data distribution among the edge devices. The data is typically non-independently and non-identically distributed (non-IID), thereby presenting challenges to model convergence. This report delves into the issues arising from non-IID and heterogeneous data and explores current algorithms designed to address these challenges.

研究动机与目标

• 解释为什么非独立同分布（non-IID）和异构数据会削弱联邦学习的性能与收敛性。
• 总结解决数据异质性的前沿算法在 FL 中的应用。
• 比较数据划分策略及其对算法性能的影响。
• 强调在非IID数据下集中化 vs 去中心化 FL 的优缺点。

提出的方法

• 介绍联邦学习的基础以及非IID/异质性挑战。
• 作为背景介绍并总结 FedAvg、FedProx、FedNova，以及 SCAFFOLD。
• 描述三条技术线索：集合蒸馏（FedDF）、基于数据-标签感知的鲁棒聚合（FedLbl）、以及去中心化的互知识传递（Def-KT）。
• 详细阐述 FedDF 蒸馏过程，包括集成教师-学生融合和 KL-divergence 损失。
• 解释 FedLbl 通过按标签多样性分组以调整全局聚合权重。
• 概述 Def-KT 的互知识传递，包含相互依赖的损失和点对点的权重更新。

Figure 1: Federated learning

实验结果

研究问题

• RQ1 非IID 与异质数据对现有 FL 算法的影响是什么？
• RQ2 集合蒸馏、鲁棒聚合或去中心化学习如何减轻非IID 影响？
• RQ3 在标准数据集和架构下，所提出的方法在非IID 设置中表现如何？

主要发现

• 非IID 数据会降低模型准确性与收敛性，对参与度和本地训练轮数的敏感性更高。
• 在异构数据下，FedDF 能提高准确性与收敛性，使用更多本地训练轮次可更快达到目标准确性。
• FedLbl 通过基于标签多样性和数据量对更新进行加权，在准确性和收敛性方面优于 FedAvg 和 FedSGD。
• Def-KT 在多数据集和客户端数量下相较基线，在非IID 设置中实现更高的全局准确性和更少的振荡。
• FedProx 在某些偏斜设置下对异质性具有鲁棒性，而如 SCAFFOLD 等方法在部分参与下可能稳定性较差。

Figure 2: Heterogeneous data