[论文解读] FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients

Jianyu Wang, Hang Qi+5 more|arXiv (Cornell University)|Jan 28, 2022

Privacy-Preserving Technologies in Data被引用 8

一句话总结

FedLite 通过一种基于产品量化聚类的新颖方案和梯度修正技术，对分割学习中的激活值进行压缩，提出了一种通信高效的联邦学习框架，适用于资源受限的客户端，在视觉和语言基准上实现了高达 490× 的通信量减少，且精度损失极小。

ABSTRACT

In classical federated learning, the clients contribute to the overall training by communicating local updates for the underlying model on their private data to a coordinating server. However, updating and communicating the entire model becomes prohibitively expensive when resource-constrained clients collectively aim to train a large machine learning model. Split learning provides a natural solution in such a setting, where only a small part of the model is stored and trained on clients while the remaining large part of the model only stays at the servers. However, the model partitioning employed in split learning introduces a significant amount of communication cost. This paper addresses this issue by compressing the additional communication using a novel clustering scheme accompanied by a gradient correction method. Extensive empirical evaluations on image and text benchmarks show that the proposed method can achieve up to $490 imes$ communication cost reduction with minimal drop in accuracy, and enables a desirable performance vs. communication trade-off.

研究动机与目标

• 解决在客户端存储和计算资源不足以处理完整模型更新时，训练大型机器学习模型在联邦学习中的挑战。
• 克服分割学习在每轮训练中在客户端与服务器之间传输大型激活向量所引入的高通信成本。
• 通过最小化客户端资源使用和通信开销，实现在边缘设备上可扩展的、保护隐私的联邦学习。
• 通过一种新颖的梯度修正机制，在对中间激活值进行极端压缩的情况下仍能保持高模型精度。

提出的方法

• 提出一种基于聚类的激活压缩方法，将切割层处的客户端激活向量进行分组，并仅向服务器传输聚类中心。
• 引入一种改进的产品量化器，通过将激活的子向量分组，实现在保持表征保真度的同时实现高比率压缩。
• 集成一种梯度修正技术，通过调整客户端梯度来抵消量化引入的噪声，从而改善模型收敛性。
• 将量化层无缝集成到分割学习流程中，保持与标准分割学习相同的隐私保障。
• 使用超参数 λ 控制梯度修正的强度，该参数经过调优以在压缩率和精度之间取得平衡。
• 固定聚类数 L 和子向量数 q，以探索压缩率与模型性能之间的权衡。

实验结果

研究问题

• RQ1 通过聚类和量化进行激活压缩，是否能显著降低分割学习中的通信成本，同时不损害模型精度？
• RQ2 所提出的梯度修正机制如何缓解量化噪声导致的客户端更新性能下降？
• RQ3 在所提出的框架中，通信减少与模型收敛速度之间的最优权衡是什么？
• RQ4 所提出的量化方案在压缩率和精度方面，与标准产品量化及其他压缩技术相比，其优越程度如何？

主要发现

• 在 FEMNIST 数据集上，FedLite 实现了高达 490× 的通信量减少，且精度损失低于 5%，证明了其在显著降低分割学习额外通信量方面的高效性。
• 在 SO Tag 数据集上，该方法实现了 247× 的压缩率，且精度损失极小，甚至提升了 Recall@5，表明其可能具有类似 Dropout 的正则化效应。
• 梯度修正技术至关重要：若无该技术，高比例压缩下模型会发散；即使 λ 值较小（10−5 到 10−3），也能显著改善性能。
• 所提出的通过子向量分组（R < q）的量化器，其压缩率比原始产品量化高出一个数量级，且精度损失可忽略不计。
• 与 FedAvg 相比，FedLite 将上行链路通信成本降低了 62×，客户端可训练参数减少了 64×，同时实现了相当或更优的精度。
• 收敛性分析揭示了通信减少与收敛速度之间存在明确的权衡，解释了为何梯度修正对稳定训练至关重要。