[论文解读] FetchSGD: Communication-Efficient Federated Learning with Sketching

Daniel Rothchild, Ashwinee Panda+6 more|arXiv (Cornell University)|Jul 15, 2020

Privacy-Preserving Technologies in Data参考文献 50被引用 65

一句话总结

FetchSGD 引入了一种通信高效的联邦学习算法，它使用 Count Sketch 压缩和草图可合并性在众多工作节点之间聚合更新，从而使动量和误差累积能够在集中聚合器处处理。

ABSTRACT

Existing approaches to federated learning suffer from a communication bottleneck as well as convergence issues due to sparse client participation. In this paper we introduce a novel algorithm, called FetchSGD, to overcome these challenges. FetchSGD compresses model updates using a Count Sketch, and then takes advantage of the mergeability of sketches to combine model updates from many workers. A key insight in the design of FetchSGD is that, because the Count Sketch is linear, momentum and error accumulation can both be carried out within the sketch. This allows the algorithm to move momentum and error accumulation from clients to the central aggregator, overcoming the challenges of sparse client participation while still achieving high compression rates and good convergence. We prove that FetchSGD has favorable convergence guarantees, and we demonstrate its empirical effectiveness by training two residual networks and a transformer model.

研究动机与目标

• 解决在客户端参与稀疏的情况下联邦学习中的通信瓶颈。
• 开发一种基于草图的压缩机制，支持在众多工作节点之间进行聚合。
• 使动量和误差累积能够在集中聚合器处完成，尽管参与度稀疏。
• 为神经网络模型提供收敛性保证并进行实证验证。

提出的方法

• 使用 Count Sketch 压缩模型更新。
• 利用 Count Sketch 的线性/可合并特性来聚合来自多个工作节点的草图。
• 在草图内进行动量和误差累积，使中央聚合成为可能。
• 给出 FetchSGD 的收敛性分析。
• 在残差网络和一个 Transformer 模型上进行实证验证。

实验结果

研究问题

• RQ1 基于 Count Sketch 的压缩是否能在不影响收敛性的前提下，在联邦学习中实现高压缩比？
• RQ2 在客户端参与稀疏时，如何在中央聚合器有效地执行动量和误差累积？
• RQ3 基于草图的聚合是否在实现可扩展的通信压缩的同时维持收敛性保证？
• RQ4 在现实的联邦学习设置下，FetchSGD 在标准神经网络结构上的经验表现如何？

主要发现

• FetchSGD 通过 Count Sketch 压缩实现了通信高效的更新。
• Count Sketch 的线性特性使动量和误差累积能够在草图内部以及在中央聚合器处处理。
• 草图可合并性使高效聚合来自众多工作节点的更新成为可能。
• 该方法提供收敛性保证，并在残差网络和 Transformer 模型上显示出实证有效性。