[论文解读] Fusion of Global and Local Knowledge for Personalized Federated Learning

Tiansheng Huang, Li Shen+3 more|arXiv (Cornell University)|Feb 21, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出 FedSLR，一种两阶段近端算法，通过融合低秩全局知识表征（GKR）与稀疏个性化组件，实现个性化联邦学习。通过将模型分解为紧凑的低秩全局部分与稀疏本地部分，FedSLR 在个性化任务上实现最先进性能，模型参数减少 40.11%，下行链路通信量降低 38.34%，同时理论上保证收敛至驻点的次线性收敛速度。

ABSTRACT

Personalized federated learning, as a variant of federated learning, trains customized models for clients using their heterogeneously distributed data. However, it is still inconclusive about how to design personalized models with better representation of shared global knowledge and personalized pattern. To bridge the gap, we in this paper explore personalized models with low-rank and sparse decomposition. Specifically, we employ proper regularization to extract a low-rank global knowledge representation (GKR), so as to distill global knowledge into a compact representation. Subsequently, we employ a sparse component over the obtained GKR to fuse the personalized pattern into the global knowledge. As a solution, we propose a two-stage proximal-based algorithm named extbf{Fed}erated learning with mixed extbf{S}parse and extbf{L}ow- extbf{R}ank representation (FedSLR) to efficiently search for the mixed models. Theoretically, under proper assumptions, we show that the GKR trained by FedSLR can at least sub-linearly converge to a stationary point of the regularized problem, and that the sparse component being fused can converge to its stationary point under proper settings. Extensive experiments also demonstrate the superior empirical performance of FedSLR. Moreover, FedSLR reduces the number of parameters, and lowers the down-link communication complexity, which are all desirable for federated learning algorithms. Source code is available in \url{https://github.com/huangtiansheng/fedslr}.

研究动机与目标

• 为解决在非独立同分布（non-IID）数据下个性化联邦学习（PFL）中全局知识表征与个性化模式学习之间的平衡挑战。
• 通过将个性化模型分解为低秩与稀疏组件，降低 PFL 中的模型与通信复杂度。
• 设计一种方法，实现全局与个性化知识的最优融合，同时避免本地模型过度参数化。
• 理论上建立对全局知识表征与个性化组件的收敛性保证。
• 在真实联邦学习场景中，实证验证方法在性能、参数效率与通信减少方面的优越性。

提出的方法

• 提出对个性化模型进行低秩与稀疏分解，其中全局组件为低秩表征（GKR），个性化组件为稀疏形式。
• 对 GKR 与稀疏组件分别施加正则化，以强化紧凑性与表达能力。
• 引入基于两阶段近端的算法 FedSLR，交替优化全局与个性化组件。
• 采用带自适应学习率的近端更新规则，确保收敛稳定性。
• 应用矩阵分解对 GKR 与混合模型进行压缩，降低参数数量。
• 设计通信高效的训练机制，通过仅传输压缩后的 GKR 与稀疏更新，减少下行链路流量。

实验结果

研究问题

• RQ1 低秩全局知识表征（GKR）是否能有效捕捉在非独立同分布联邦设置下客户端之间的共享知识？
• RQ2 稀疏组件是否能高效表示个性化模式，而不会主导参数空间？
• RQ3 将低秩 GKR 与稀疏个性化融合，是否能带来优于现有 PFL 方法的性能表现？
• RQ4 所提出的 FedSLR 算法是否能对全局与个性化组件分别实现理论上的驻点收敛？
• RQ5 通过该分解方法，模型压缩与通信效率的提升程度在多大程度上可实现？

主要发现

• 在 CIFAR-100 上，GKR 模型相比 FedAvg 准确率提升 7.23%，证明其具备优越的全局知识表征能力。
• 在个性化任务上，FedSLR 的混合模型相比此前最先进方法 Ditto，准确率提升 3.52%。
• 与未剪枝基线相比，GKR 模型参数减少 50.40%；完整混合模型参数减少 40.11%。
• 由于模型压缩传输，每轮联邦学习的下行链路通信量减少 38.34%。
• 理论分析证实，在适当设置下，GKR 实现次线性收敛，稀疏组件收敛至其对应驻点。
• 实证结果表明，该方法在显著降低模型与通信开销的同时，仍保持高性能。