[论文解读] Adaptive Gradient Sparsification for Efficient Federated Learning: An Online Learning Approach

Pengchao Han, Shiqiang Wang+1 more|arXiv (Cornell University)|Jan 14, 2020

Privacy-Preserving Technologies in Data参考文献 42被引用 9

一句话总结

该论文提出了一种用于联邦学习的自适应梯度稀疏化方法，通过在线学习动态调整稀疏度水平，以最小化训练时间。通过估计梯度符号并使用最小遗憾算法，与基线方法相比，模型准确率最高提升40%，尤其在非独立同分布（non-i.i.d.）数据和异构客户端资源条件下表现更优。

ABSTRACT

Federated learning (FL) is an emerging technique for training machine learning models using geographically dispersed data collected by local entities. It includes local computation and synchronization steps. To reduce the communication overhead and improve the overall efficiency of FL, gradient sparsification (GS) can be applied, where instead of the full gradient, only a small subset of important elements of the gradient is communicated. Existing work on GS uses a fixed degree of gradient sparsity for i.i.d.-distributed data within a datacenter. In this paper, we consider adaptive degree of sparsity and non-i.i.d. local datasets. We first present a fairness-aware GS method which ensures that different clients provide a similar amount of updates. Then, with the goal of minimizing the overall training time, we propose a novel online learning formulation and algorithm for automatically determining the near-optimal communication and computation trade-off that is controlled by the degree of gradient sparsity. The online learning algorithm uses an estimated sign of the derivative of the objective function, which gives a regret bound that is asymptotically equal to the case where exact derivative is available. Experiments with real datasets confirm the benefits of our proposed approaches, showing up to $40\%$ improvement in model accuracy for a finite training time.

研究动机与目标

• 解决在非独立同分布数据和异构客户端资源条件下，固定稀疏度在梯度稀疏化中效率低下的问题。
• 通过自适应稀疏度选择动态平衡通信与计算，以最小化整体训练时间。
• 通过在上行链路和下行链路中实现双向top-k梯度选择，确保客户端贡献的公平性。
• 开发一种可证明高效的在线学习算法，通过估计梯度符号实现最优稀疏度控制。
• 在真实世界数据集上验证该方法，并展示其在收敛性和准确率方面的改进。

提出的方法

• 提出公平感知的双向top-k梯度稀疏化（FAB-top-k），其中上行链路和下行链路的梯度均使用相同的k个元素进行稀疏化。
• 提出一种在线学习框架，基于估计的梯度符号和客户端特定的权衡，自适应选择最优稀疏度水平k。
• 使用遗憾界分析表明，该算法的性能趋近于使用精确梯度导数的最优算法。
• 采用投影次梯度更新规则，步长递减为δₘ = B/√(2m)，以确保收敛性和有界遗憾。
• 利用凸性和次梯度性质推导遗憾的理论界，证明其渐近最优性。
• 集成客户端侧的公平性约束，确保贡献均衡，防止慢速或能力较弱客户端被低估。

实验结果

研究问题

• RQ1 如何使联邦学习中的梯度稀疏化适应客户端计算和通信能力的动态变化？
• RQ2 在非独立同分布的联邦学习设置中，最小化训练时间的最优稀疏度程度是什么？
• RQ3 使用估计梯度符号的在线学习能否在动态稀疏度选择中实现近似最优性能？
• RQ4 双向梯度稀疏化（上行链路和下行链路）如何影响模型收敛性和客户端间的公平性？
• RQ5 自适应稀疏度是否能在真实数据集上带来可测量的模型准确率和训练效率提升？

主要发现

• 所提出的自适应梯度稀疏化方法在有限训练时间内，与固定稀疏度基线相比，模型准确率最高提升40%。
• 使用估计梯度符号的在线学习算法，其遗憾界与使用精确梯度导数的情况渐近等价。
• 公平感知的FAB-top-k机制确保了客户端贡献的均衡，提升了在异构客户端环境下的收敛稳定性。
• 理论分析表明，遗憾随O(√M)增长，与有界次梯度下的在线凸优化最优速率一致。
• 在真实数据集上的实证结果验证了该方法在减少通信开销的同时，维持或提升模型性能的有效性。
• 该方法在非独立同分布数据设置和网络条件变化的情况下，优于FedAvg和固定k的梯度稀疏化方法。