[论文解读] Expanding the Reach of Federated Learning by Reducing Client Resource Requirements

Sebastian Caldas, Jakub Konečny+2 more|arXiv (Cornell University)|Dec 18, 2018

Privacy-Preserving Technologies in Data被引用 210

一句话总结

论文介绍两种策略以减少联邦学习的服务器到客户端通信：使用 Kashin 表示的有损服务器到客户端模型压缩和 Federated Dropout。当与现有的客户端到服务器压缩结合时，这些方法在不降低最终模型精度的前提下，实现了最多 14× 的服务器到客户端、28× 的客户端到服务器，以及 1.7× 本地计算的降低，但代价是收敛轮次变慢。

ABSTRACT

Communication on heterogeneous edge networks is a fundamental bottleneck in Federated Learning (FL), restricting both model capacity and user participation. To address this issue, we introduce two novel strategies to reduce communication costs: (1) the use of lossy compression on the global model sent server-to-client; and (2) Federated Dropout, which allows users to efficiently train locally on smaller subsets of the global model and also provides a reduction in both client-to-server communication and local computation. We empirically show that these strategies, combined with existing compression approaches for client-to-server communication, collectively provide up to a $14\ imes$ reduction in server-to-client communication, a $1.7\ imes$ reduction in local computation, and a $28\ imes$ reduction in upload communication, all without degrading the quality of the final model. We thus comprehensively reduce FL's impact on client device resources, allowing higher capacity models to be trained, and a more diverse set of users to be reached.

研究动机与目标

• 激励在异构边缘网络中减少联邦学习的通信瓶颈。
• 通过降低客户端资源需求来实现训练更高容量的模型。
• 开发并评估在降低带宽和计算的同时保持模型质量的方法。
• 展示新策略与现有客户端到服务器压缩技术的兼容性。

提出的方法

• 提出对客户端下载的全局模型进行有损压缩，使用基变换、子采样和概率量化，并利用 Kashin 的表示来降低量化误差。
• 引入 Federated Dropout，允许客户端在较小子模型上进行训练并仅传输子模型更新，在服务器端将它们映射回完整的全局模型。
• 将服务器到客户端的压缩与现有客户端到服务器的压缩方案结合起来，评估端到端的带宽和计算节省。
• 对基变换参数选择（单位矩阵、随机 Hadamard、Kashin’s）、子采样率和量化位数进行经验分析。
• 在 MNIST、CIFAR-10 和 EMNIST 上使用 FedAvg，在静态超参数和标准训练设置下进行评估。

实验结果

研究问题

• RQ1 在联邦学习训练中，服务器到客户端的通信在不降低最终模型性能的前提下可以减少多少？
• RQ2 Federated Dropout 是否在保持准确性的同时，显著减少本地计算和客户端到服务器的通信？
• RQ3 Kashin 的表示和 Hadamard 变换在服务器到客户端有损压缩中的效果对比如何？
• RQ4 有损的服务器到客户端压缩和 Federated Dropout 是否与现有的客户端到服务器压缩技术兼容？

主要发现

• 服务器到客户端的模型通信在保持精度的前提下可以减少至多 14×。
• Federated Dropout 在某些情况下对全连接层，通信和本地计算分别最多减少至 1.7× 和 43%。
• 将所提出的方法与现有的客户端到服务器压缩结合，在某些配置下实现了最多 28× 的客户端到服务器和 28× 的服务器到客户端的降低。
• 在 Federated Dropout 率为 0.75 时，模型在中等和保守的压缩方案下维持了准确性并实现了显著的带宽节省。
• 端到端框架在通信轮次方面收敛速度略慢，但不降低最终模型质量。
• 结果表明适用于现实世界 FL 部署的实际参数设置（例如 dropout 约 0.75 和 Kashin’s 在中等/保守压缩下）。