[论文解读] Benchmarking FedAvg and FedCurv for Image Classification Tasks

Bruno Casella, Roberto Esposito+2 more|arXiv (Cornell University)|Mar 31, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文在非独立同分布（non-IID）数据设置下对 FedAvg 和 FedCurv 进行了基准测试，表明每轮增加本地训练轮次可显著提升性能并降低通信成本。关键贡献在于实证证据表明，本地优化深度（而不仅仅是聚合频率）在联邦学习中对收敛性和准确性具有决定性影响，尤其是在统计异质性场景下。

ABSTRACT

Classic Machine Learning techniques require training on data available in a single data lake. However, aggregating data from different owners is not always convenient for different reasons, including security, privacy and secrecy. Data carry a value that might vanish when shared with others; the ability to avoid sharing the data enables industrial applications where security and privacy are of paramount importance, making it possible to train global models by implementing only local policies which can be run independently and even on air-gapped data centres. Federated Learning (FL) is a distributed machine learning approach which has emerged as an effective way to address privacy concerns by only sharing local AI models while keeping the data decentralized. Two critical challenges of Federated Learning are managing the heterogeneous systems in the same federated network and dealing with real data, which are often not independently and identically distributed (non-IID) among the clients. In this paper, we focus on the second problem, i.e., the problem of statistical heterogeneity of the data in the same federated network. In this setting, local models might be strayed far from the local optimum of the complete dataset, thus possibly hindering the convergence of the federated model. Several Federated Learning algorithms, such as FedAvg, FedProx and Federated Curvature (FedCurv), aiming at tackling the non-IID setting, have already been proposed. This work provides an empirical assessment of the behaviour of FedAvg and FedCurv in common non-IID scenarios. Results show that the number of epochs per round is an important hyper-parameter that, when tuned appropriately, can lead to significant performance gains while reducing the communication cost. As a side product of this work, we release the non-IID version of the datasets we used so to facilitate further comparisons from the FL community.

研究动机与目标

• 评估 FedAvg 和 FedCurv 在联邦学习中常见的现实非IID数据分布下的性能。
• 研究每轮本地训练轮次数量对非IID设置下收敛性和准确性的影响。
• 为联邦学习社区提供一种可复现的基准，包含五种不同的非IID数据划分策略。
• 发布 MNIST、CIFAR10 和 MedMNIST 数据集的非IID版本，以支持未来的对比研究。
• 分析联邦图像分类中通信成本与模型性能之间的权衡。

提出的方法

• 作者在三个公开图像数据集（MNIST、CIFAR10 和 MedMNIST）上实现了 FedAvg 和 FedCurv。
• 他们生成了五种非IID数据划分方案：数量偏移、先验偏移（三种变体：病态型、狄利克雷型和均匀型）以及协变量偏移。
• 每个客户端被分配非均匀分布的数据样本，以模拟现实世界中的统计异质性。
• 模型在多轮训练中进行，每轮在聚合前执行 E 次本地轮次训练。
• 通过联邦训练 10 轮和 100 轮后的测试准确率来衡量性能。
• 在 FedAvg 和 FedCurv 中均采用加权平均策略，以考虑客户端间的数据不平衡问题。

实验结果

研究问题

• RQ1 每轮本地训练轮次数量如何影响 FedAvg 和 FedCurv 在非IID设置下的性能？
• RQ2 哪种非IID数据划分策略对联邦学习算法构成最大挑战？
• RQ3 考虑到 FedCurv 的设计初衷是处理统计异质性，它在非IID场景下是否始终优于 FedAvg？
• RQ4 通过增加本地训练轮次来减少通信轮次，是否能带来更高的模型准确率？
• RQ5 在相同非IID条件下，FedAvg 和 FedCurv 在不同图像数据集上的表现如何比较？

主要发现

• 每轮增加本地训练轮次可显著提升 FedAvg 和 FedCurv 的测试准确率，即使在每轮 10 轮次时也观察到性能提升。
• 在均匀分布和协变量偏移设置下，FedCurv 表现优于 FedAvg，100 轮训练、每轮 30 轮次时在 MedMNIST 上达到 89.45% 的准确率。
• 在协变量偏移设置下，FedAvg 在 CIFAR10 上达到 73.14% 的准确率（每轮 30 轮次），而 FedCurv 达到 71.28%，表明其在中等异质性下仍具强大性能。
• 标签数量偏移是最具挑战性的非IID设置，FedCurv 在 MedMNIST 上 10 轮后达到 77.70%，而 FedAvg 仍表现良好，达到 75.07%。
• 出人意料的是，10 轮、每轮 10 轮次的训练结果优于 100 轮、每轮 1 轮次，表明更深层次的本地优化可在降低通信成本的同时提升性能。
• 病态标签偏移是第二困难的设置，FedCurv 在 MedMNIST 上 100 轮后达到 82.32%，而 FedAvg 达到 79.34%。