[论文解读] Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression

Zhefeng Qiao, Xianghao Yu+2 more|arXiv (Cornell University)|Apr 26, 2021

Privacy-Preserving Technologies in Data参考文献 15被引用 12

一句话总结

该论文提出FedDLR，一种通信高效的联邦学习框架，通过在客户端和中央服务器端对模型权重应用低秩压缩。通过在双方均使用截断SVD（TSVD）进行模型压缩，FedDLR在训练过程中降低了通信开销，并生成了紧凑且可直接推理的模型，相比最先进方法实现了更快的收敛速度和更低的通信成本。

ABSTRACT

Federated learning (FL) is a promising and powerful approach for training deep learning models without sharing the raw data of clients. During the training process of FL, the central server and distributed clients need to exchange a vast amount of model information periodically. To address the challenge of communication-intensive training, we propose a new training method, referred to as federated learning with dual-side low-rank compression (FedDLR), where the deep learning model is compressed via low-rank approximations at both the server and client sides. The proposed FedDLR not only reduces the communication overhead during the training stage but also directly generates a compact model to speed up the inference process. We shall provide convergence analysis, investigate the influence of the key parameters, and empirically show that FedDLR outperforms the state-of-the-art solutions in terms of both the communication and computation efficiency.

研究动机与目标

• 为解决因客户端与服务器之间交换大量模型参数而导致的联邦学习中高通信成本问题。
• 克服单侧压缩的局限性，后者无法减少下行链路通信或推理延迟。
• 设计一种方法，同时提升训练期间的通信效率和推理期间的计算效率。
• 为所提出的双端压缩方法提供理论收敛保证。
• 通过实验验证FedDLR相较于最先进压缩型联邦学习方法的优越性。

提出的方法

• 客户端执行本地训练，并在上传前使用截断SVD（TSVD）对其模型权重应用低秩压缩。
• 中央服务器聚合压缩后的客户端模型，并在广播前使用TSVD对全局模型应用低秩压缩。
• 压缩基于能量截断，保留最大的奇异值并舍弃较小的奇异值，以降低维度。
• 该方法采用秩约束，确保压缩后的模型在最小化通信负载的同时保持足够的表征能力。
• 理论分析表明，由于双端压缩机制，通信开销在训练过程中单调减少。
• 该框架将低秩逼近集成到FedAvg算法中，在弱假设下保持收敛特性。

实验结果

研究问题

• RQ1 双端低秩压缩是否能在不牺牲模型准确率的前提下降低联邦学习中的通信开销？
• RQ2 同时对客户端和服务器端模型进行压缩是否因模型紧凑性而带来更快的推理速度？
• RQ3 压缩秩的选择如何影响收敛性和通信效率？
• RQ4 在所提出的压缩方案下，通信成本是否在训练轮次中单调递减？
• RQ5 在非凸优化的标准假设下，FedDLR的理论收敛性是否可保证？

主要发现

• FedDLR通过在客户端和服务器端均使用截断SVD对模型权重进行压缩，显著降低了带宽使用，从而减少了通信开销。
• 由于双端压缩机制，通信成本在训练轮次中实现了单调减少。
• 理论分析证明，在标准假设下，FedDLR可收敛至驻点，且收敛误差存在上界。
• 如定理2所示，模型权重的秩在训练过程中不会增加，从而确保了稳定性和效率。
• 实验结果表明，FedDLR在通信效率和推理速度方面均优于最先进方法。
• 该方法在显著减小模型尺寸的同时保持了高模型准确率，使资源受限设备上的推理速度更快。