[论文解读] CosSGD: Communication-Efficient Federated Learning with a Simple Cosine-Based Quantization

Yang He, Hui‐Po Wang+2 more|arXiv (Cornell University)|Dec 15, 2020

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出CosSGD，一种基于新型余弦非线性量化方法的通信高效联邦学习方法，用于压缩模型权重和梯度。通过为大数值分配更精细的量化级别，CosSGD在超高压缩比下实现了最先进性能——即使在1比特量化时也与全精度训练表现相当——同时保持了较低的计算开销，并与现有技术（如梯度稀疏化）兼容。

ABSTRACT

Federated learning is a promising framework to mitigate data privacy and computation concerns. However, the communication cost between the server and clients has become the major bottleneck for successful deployment. Despite notable progress in gradient compression, the existing quantization methods require further improvement when low-bits compression is applied, especially the overall systems often degenerate a lot when quantization are applied in double directions to compress model weights and gradients. In this work, we propose a simple cosine-based nonlinear quantization and achieve impressive results in compressing round-trip communication costs. We are not only able to compress model weights and gradients at higher ratios than previous methods, but also achieve competing model performance at the same time. Further, our approach is highly suitable for federated learning problems since it has low computational complexity and requires only a little additional data to recover the compressed information. Extensive experiments have been conducted on image classification and brain tumor semantic segmentation using the CIFAR-10, and BraTS datasets where we show state-of-the-art effectiveness and impressive communication efficiency.

研究动机与目标

• 为解决联邦学习中高通信成本问题，尤其是在极端低比特量化场景下的挑战。
• 通过更好地保留具有信息量的大数值权重和梯度，提升低比特压缩下的模型性能。
• 设计一种计算复杂度低的量化方案，适用于资源受限的边缘设备。
• 确保与现有通信压缩技术（如梯度稀疏化和无损压缩）的兼容性。
• 在无需额外训练或显著计算开销的前提下，实现最先进水平的通信效率。

提出的方法

• 该方法采用基于余弦的非线性量化函数，生成非均匀量化区间，对大数值提供更精细的分辨率，对小数值则提供更粗糙的分辨率。
• 量化独立应用于模型权重和梯度，支持服务器与客户端之间的双向压缩。
• 选择余弦函数是因为其能最小化极端值的量化误差，而这些极端值在优化过程中更具信息量。
• 该方法无需额外训练或模型微调，可直接应用于现有联邦学习流程。
• 与梯度稀疏化和无损压缩（如Deflate）兼容，可实现累积的通信成本降低。
• 该方法引入的额外计算开销极小，适用于资源受限的边缘设备。

实验结果

研究问题

• RQ1 一种优先考虑大数值的非线性量化方案，是否能提升联邦学习在极端低比特压缩下的模型性能？
• RQ2 与线性量化和基于k-means的量化相比，基于余弦的量化在准确率和通信效率方面表现如何？
• RQ3 当与梯度稀疏化和无损压缩结合时，所提方法是否能保持高性能？
• RQ4 在1比特和2比特水平下，该方法是否比现有最先进量化技术具有更高的通信效率？
• RQ5 该方法是否足够轻量化，可实际部署于资源受限的边缘设备中的真实联邦学习系统？

主要发现

• 在CIFAR-10数据集上，CosSGD在1比特量化下达到84.2%的top-1准确率，仅比全精度训练（85.2%）低1%。
• 该方法显著优于采用哈达玛旋转和残差存储的无偏线性量化，在1比特压缩下优势尤为明显。
• 在BraTS2019脑肿瘤分割任务中，CosSGD在相同压缩设置下获得的Dice分数高于k-means和线性量化。
• 当与5%梯度稀疏化及Deflate压缩结合时，CosSGD实现了超过1000倍的总通信压缩比，同时保持了具有竞争力的模型性能。
• CosSGD是唯一一种在4比特精度下能有效压缩模型权重且不造成性能下降的方法，在相同成本水平下优于其他替代方案。
• 该方法在图像分类和3D医学图像分割任务中均保持一致的高性能，展现出广泛的应用潜力。