[论文解读] Distributed Non-Convex Optimization with Sublinear Speedup under Intermittent Client Availability

Yikai Yan, Chaoyue Niu+6 more|arXiv (Cornell University)|Feb 18, 2020

Privacy-Preserving Technologies in Data参考文献 40被引用 12

一句话总结

该论文提出联邦最新平均（FedLaAvg），一种用于在客户端间歇性可用条件下进行联邦学习的分布式非凸优化算法。通过利用当前可用客户端的最新梯度（即使其他客户端离线），该算法在收敛速度上实现了 $O(1/N^{1/4})$ 的次线性加速，相较于 FedAvg，在 MNIST 和 Sentiment140 数据集上于现实客户端可用性模式下展现出更优的稳定性和泛化能力。

ABSTRACT

Federated learning is a new distributed machine learning framework, where a bunch of heterogeneous clients collaboratively train a model without sharing training data. In this work, we consider a practical and ubiquitous issue when deploying federated learning in mobile environments: intermittent client availability, where the set of eligible clients may change during the training process. Such intermittent client availability would seriously deteriorate the performance of the classical Federated Averaging algorithm (FedAvg for short). Thus, we propose a simple distributed non-convex optimization algorithm, called Federated Latest Averaging (FedLaAvg for short), which leverages the latest gradients of all clients, even when the clients are not available, to jointly update the global model in each iteration. Our theoretical analysis shows that FedLaAvg attains the convergence rate of $O(E^{1/2}/(N^{1/4} T^{1/2}))$, achieving a sublinear speedup with respect to the total number of clients. We implement FedLaAvg along with several baselines and evaluate them over the benchmarking MNIST and Sentiment140 datasets. The evaluation results demonstrate that FedLaAvg achieves more stable training than FedAvg in both convex and non-convex settings and indeed reaches a sublinear speedup.

研究动机与目标

• 为解决跨设备联邦学习中客户端间歇性可用的问题，即由于电池和网络等设备限制，客户端参与度随时间波动。
• 设计一种实用的优化算法，即使在客户端动态可用性和非独立同分布（non-IID）数据分布下，也能保持训练稳定性和收敛性。
• 理论上分析在部分、时变客户端参与条件下的收敛性，放宽先前 FedAvg 分析中对客户端完全可用的强假设。
• 通过实证验证，FedLaAvg 在凸与非凸设置下均实现了次线性加速，并且在泛化性能上优于 FedAvg。

提出的方法

• FedLaAvg 维护并使用所有客户端的最新梯度，即使这些客户端未参与当前轮次，以更新全局模型。
• 该算法根据客户端上次更新时间选择客户端，优先选择具有最新梯度的客户端，以减少梯度延迟。
• 采用梯度差值聚合机制，计算所有客户端最新梯度的平均值，确保模型更新的时效性。
• 理论分析表明收敛速率为 $O(E^{1/2}/(N^{1/4}T^{1/2}))$，证明了相对于总客户端数 $N$ 的次线性加速。
• 该方法设计轻量化，每个客户端仅需 $O(Q)$ 额外存储空间用于存储最新梯度，适用于资源受限设备。
• 云服务器维护客户端可用时间戳列表，并在每轮选择最近的 $K$ 个客户端，以最小化梯度延迟。

实验结果

研究问题

• RQ1 联邦优化算法是否能在客户端间歇性可用（即客户端随机加入和离开）条件下实现稳定收敛？
• RQ2 在非凸设置下，利用所有客户端的最新可用梯度是否能提升收敛性和泛化性能，优于 FedAvg？
• RQ3 在客户端可用性随时间变化的条件下，联邦算法的理论收敛速率是多少？是否实现了相对于客户端数量的次线性加速？
• RQ4 在真实世界数据集上，FedLaAvg 与 FedAvg、FedProx 和 FedSGD 相比，在测试准确率和训练稳定性方面表现如何？

主要发现

• FedLaAvg 实现了理论收敛速率 $O(E^{1/2}/(N^{1/4}T^{1/2}))$，证明了相对于总客户端数 $N$ 的次线性加速。
• 在 MNIST 数据集上，FedLaAvg 的测试准确率高于 FedAvg 和 FedProx，尤其在客户端可用性波动大和非 IID 数据条件下表现更优。
• 在 Sentiment140 数据集上，即使每轮仅有少量客户端可用，FedLaAvg 仍能保持稳定训练并实现更优的泛化性能。
• 该算法在不同客户端数量 $N$ 和选择比例 $\beta$ 下表现一致，测试准确率随 $N$ 增加而提升，但增速递减，证实了次线性加速特性。
• 实证结果表明，FedLaAvg 有效降低了由客户端间歇性可用性引起的数据偏差负面影响，使训练和测试数据分布更加对齐。
• 该方法开销极低：每个客户端仅需 $O(Q)$ 存储空间，服务器端为 $O(N+Q)$，适用于移动和边缘设备的实际部署。