[论文解读] FEDZIP: A Compression Framework for Communication-Efficient Federated Learning

Amirhossein Malekijoo, Mohammad Javad Fadaeieslam+4 more|arXiv (Cornell University)|Feb 2, 2021

Privacy-Preserving Technologies in Data参考文献 48被引用 24

一句话总结

FedZip 是一种用于通信高效联邦学习的新型压缩框架，结合了 Top-z 稀疏化、基于 k-means 聚类的量化方法以及三种高级编码方法（包括霍夫曼编码和基于差值的编码），以减小模型更新大小。其在小于 1% 准确率下降的情况下实现了最高 1085× 的压缩率，并将通信开销降低了 99%，显著提升了移动设备上的能效和带宽利用率。

ABSTRACT

Federated Learning marks a turning point in the implementation of decentralized machine learning (especially deep learning) for wireless devices by protecting users' privacy and safeguarding raw data from third-party access. It assigns the learning process independently to each client. First, clients locally train a machine learning model based on local data. Next, clients transfer local updates of model weights and biases (training data) to a server. Then, the server aggregates updates (received from clients) to create a global learning model. However, the continuous transfer between clients and the server increases communication costs and is inefficient from a resource utilization perspective due to the large number of parameters (weights and biases) used by deep learning models. The cost of communication becomes a greater concern when the number of contributing clients and communication rounds increases. In this work, we propose a novel framework, FedZip, that significantly decreases the size of updates while transferring weights from the deep learning model between clients and their servers. FedZip implements Top-z sparsification, uses quantization with clustering, and implements compression with three different encoding methods. FedZip outperforms state-of-the-art compression frameworks and reaches compression rates up to 1085x, and preserves up to 99% of bandwidth and 99% of energy for clients during communication.

研究动机与目标

• 为解决由于客户端与服务器之间传输大量模型参数而导致的高通信成本和高能耗问题。
• 在不显著降低模型准确率或收敛速度的前提下，减少移动设备和可穿戴设备的带宽和能耗。
• 设计一种集成稀疏化、量化和可扩展编码的压缩流水线，以实现高效的客户端-服务器通信。
• 在压缩率和模型性能保持方面超越当前最先进的压缩框架。
• 在真实移动硬件上评估该框架在实际场景中的表现，展示其实际效率提升。

提出的方法

• 应用 Top-z 稀疏化方法，仅保留最重要的权重更新，从而减少传输的参数数量。
• 使用 k-means 聚类对权重值进行分组并应用量化，以最小化压缩过程中的精度损失。
• 采用三种编码策略：标准霍夫曼编码、用于不频繁聚类的地址表编码，以及用于地址位置的基于差值的编码，以优化存储和传输效率。
• 将压缩流水线集成到联邦平均（FedAvg）框架中，用压缩表示代替原始模型更新。
• 利用联邦学习的迭代特性，在多个训练轮次中重用压缩更新，以进一步放大效率增益。
• 在真实智能手机（Xiaomi Mi A2）上，基于 VGG16 和 CNN 模型，在真实网络条件下评估性能。

实验结果

研究问题

• RQ1 结合稀疏化、量化和多方法编码的流水线能否在联邦学习中实现比现有框架更高的压缩率？
• RQ2 与基线 FedAvg 和 FedSGD 相比，所提出的压缩框架在模型准确率或收敛速度方面有多大程度的退化？
• RQ3 在真实移动环境中，该框架在电池耗用和响应时间方面的表现如何？
• RQ4 哪种编码方法在不同模型大小下能实现压缩率与可扩展性之间的最佳权衡？
• RQ5 该框架能否在多个通信轮次中保持高效率，而不会出现显著的性能退化？

主要发现

• 当结合多轮训练（E=10）与编码技术时，FedZip 实现了最高 1085× 的压缩率，显著优于当前最先进的方法。
• 该框架将通信开销降低了约 99%，从而在移动设备上实现了显著的能效节省和电池效率提升。
• 基于差值的编码方法实现了平均 127× 的压缩率和最高 194× 的压缩率，在可扩展性和效率方面优于霍夫曼编码和地址表编码。
• 尽管每名客户端因压缩增加了 5–10% 的计算开销，但传输时间的节省带来了净性能增益和更快的响应时间。
• 在 Xiaomi Mi A2 智能手机上的实验结果表明，FedZip 在模型大小和通信负载增加时，比 FedAvg 和 FedSGD 更有效地降低了电池耗用和响应时间。
• 该框架在高压缩率下仍能保持模型准确率，退化不足 1%，展现出强大的鲁棒性。