[论文解读] Convergence Analysis of Sequential Federated Learning on Heterogeneous Data

Yipeng Li, Xinchen Lyu|arXiv (Cornell University)|Nov 6, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文首次对异构数据上的顺序联邦学习（SFL）进行了收敛性分析，证明在强、通用且非凸目标下，SFL 的收敛性优于并行联邦学习（PFL）。分析表明，在极端数据异构性的跨设备设置中，SFL 表现优于 PFL，实验验证显示在 CIFAR-10 和 CINIC-10 上测试准确率最高提升 10%。

ABSTRACT

There are two categories of methods in Federated Learning (FL) for joint training across multiple clients: i) parallel FL (PFL), where clients train models in a parallel manner; and ii) sequential FL (SFL), where clients train models in a sequential manner. In contrast to that of PFL, the convergence theory of SFL on heterogeneous data is still lacking. In this paper, we establish the convergence guarantees of SFL for strongly/general/non-convex objectives on heterogeneous data. The convergence guarantees of SFL are better than that of PFL on heterogeneous data with both full and partial client participation. Experimental results validate the counterintuitive analysis result that SFL outperforms PFL on extremely heterogeneous data in cross-device settings.

研究动机与目标

• 通过为异构数据上的顺序联邦学习（SFL）建立收敛性保证，弥合理论理解的差距。
• 在强、通用且非凸目标下，比较 SFL 与并行联邦学习（PFL）在数据异构性条件下的收敛性能。
• 为 SFL 在极端数据异构性场景下优于 PFL 的经验观察提供理论依据。
• 将理论框架扩展至拆分学习（SL），证明收敛结果的更广泛应用性。

提出的方法

• 提出一种新颖的 SFL 收敛性分析框架，适用于异构数据，涵盖强凸、一般凸和非凸目标。
• 采用顺序更新规则：每个客户端以先前客户端的最新参数初始化，在将参数向前传递前执行 K 次本地 SGD 步骤。
• 基于梯度利普希茨连续性、方差有界性以及客户端数据异构性（通过局部与全局梯度之间的差异度量）的假设，推导收敛边界。
• 将分析应用于完整和部分客户端参与的情况，表明 SFL 的收敛速率优于 PFL。
• 证明该理论框架同样适用于拆分学习（SL），扩展其在边缘 AI 系统中的相关性。
• 采用加权平均策略进行最终模型聚合，确保在推导边界的条件下收敛至驻点。

实验结果

研究问题

• RQ1 在强凸目标下，顺序联邦学习（SFL）在异构数据上是否优于并行联邦学习（PFL）？
• RQ2 在一般凸和非凸目标下，SFL 在数据异构性条件下与 PFL 相比表现如何？
• RQ3 在异构设置下，SFL 在完整和部分客户端参与时的理论收敛速率是多少？
• RQ4 SFL 的收敛理论能否扩展至其他分布式学习范式（如拆分学习 SL）？
• RQ5 为何 SFL 在极端数据异构性的跨设备联邦学习中优于 PFL，尽管先前工作缺乏明确的理论解释？

主要发现

• 在所有目标类型下——强凸、一般凸和非凸——SFL 在异构数据上的收敛性保证优于 PFL。
• 在极端数据异构性的跨设备设置中，SFL 表现优于 PFL，完整客户端参与下在 CIFAR-10 和 CINIC-10 上测试准确率最高提升 10%。
• 在 MNIST 和 FMNIST 上，SFL 在所有设置中均取得更高的测试准确率，MLP 和 LeNet-5 模型在高异构性下提升 1–2%。
• 在 CIFAR-10 上使用 VGG-9，SFL 在 K=5 且 C=2 时达到 82.56% 的测试准确率（PFL 为 78.42%），实现 4.14% 的提升，表明在部分参与下表现更优。
• 在 CINIC-10 上使用 ResNet-18，SFL 在 C=2 且 K=5 时达到 64.17% 的测试准确率（PFL 为 57.70%），提升 6.47%，证实其在极端异构性下的优越性能。
• 收敛性分析确认，由于顺序参数传播，SFL 比 PFL 更有效地减少客户端漂移，从而在非独立同分布数据下稳定训练。