[论文解读] FedALA: Adaptive Local Aggregation for Personalized Federated Learning

Jianqing Zhang, Hua Yang+5 more|arXiv (Cornell University)|Dec 2, 2022

Privacy-Preserving Technologies in Data被引用 15

一句话总结

FedALA 提出了一种自适应局部聚合（ALA）模块，通过基于每个客户端本地目标的逐元素自适应混合全局模型与局部模型，微调局部模型初始化。该方法在五个基准数据集上将个性化联邦学习的测试准确率最高提升3.27%，同时保持极低的通信开销，并可广泛适配现有联邦学习框架。

ABSTRACT

A key challenge in federated learning (FL) is the statistical heterogeneity that impairs the generalization of the global model on each client. To address this, we propose a method Federated learning with Adaptive Local Aggregation (FedALA) by capturing the desired information in the global model for client models in personalized FL. The key component of FedALA is an Adaptive Local Aggregation (ALA) module, which can adaptively aggregate the downloaded global model and local model towards the local objective on each client to initialize the local model before training in each iteration. To evaluate the effectiveness of FedALA, we conduct extensive experiments with five benchmark datasets in computer vision and natural language processing domains. FedALA outperforms eleven state-of-the-art baselines by up to 3.27% in test accuracy. Furthermore, we also apply ALA module to other federated learning methods and achieve up to 24.19% improvement in test accuracy.

研究动机与目标

• 通过利用相关全局模型信息改进局部模型初始化，以缓解联邦学习中的统计异质性问题。
• 克服现有个性化联邦学习方法对所有全局模型参数一视同仁或需要高通信开销的局限性。
• 开发一种轻量化、通信高效的模块，可自适应地匹配每个客户端的本地目标，且无需修改核心联邦学习训练流程。
• 实现对全局模型中有用信息的精确、逐元素捕捉，以提升局部模型性能。
• 证明 ALA 模块在多样化联邦学习与个性化联邦学习基线方法中的通用性。

提出的方法

• 引入自适应局部聚合（ALA）模块，计算基于局部损失梯度的实数值、逐元素权重，以融合全局模型与局部模型。
• 使用完整本地数据集训练 ALA 模块，使初始化模型与本地目标对齐，从一开始就最小化局部损失。
• 仅将 ALA 应用于深度神经网络的高层层，以降低计算成本，同时保持性能。
• 保持标准 FedAvg 通信模式——每轮仅需下载一次全局模型并上传一次本地模型——确保通信开销极低。
• 通过极少修改即可将 ALA 集成到现有联邦学习与 pFL 框架中，实现即插即用的性能提升。
• 使用基于主成分分析（PCA）的可视化方法分析局部模型轨迹，证明 ALA 能够纠正更新方向，使其朝向局部极小值。

实验结果

研究问题

• RQ1 在数据异质性条件下，对全局模型与局部模型进行自适应的逐元素聚合，能否提升个性化联邦学习的性能？
• RQ2 仅捕获全局模型中所需信息，是否能比简单复用全局模型带来更好的局部模型收敛效果？
• RQ3 ALA 模块能否在不改变其核心训练流程的前提下，有效应用于标准联邦学习与个性化联邦学习方法？
• RQ4 在客户端数量增加及数据非独立同分布程度变化的情况下，ALA 的表现如何？
• RQ5 ALA 是否能纠正局部模型的更新方向，从而加速收敛至局部极小值？

主要发现

• 在五个基准数据集上，FedALA 相较于十一种最先进的个性化联邦学习方法，测试准确率最高提升3.27%。
• 在高度异质性设置下（如 Dirichlet β=0.5），FedALA 保持强劲性能，而许多基线方法显著退化。
• 在100个客户端的场景下，FedALA 准确率下降不足1%，表明其相比其他 pFL 方法具备更优的可扩展性。
• 将 ALA 模块应用于 FedAvg 和 FedProx 均带来显著的准确率提升，表明其在标准联邦学习框架中具有广泛适用性。
• 即使在基础方法已强调通用特征的场景下，ALA 模块仍使 FedRep 准确率提升超过0.60%，FedPHP 提升显著。
• 可视化结果证实，ALA 能够纠正局部模型的更新方向，引导其朝向局部损失最小值，而 FedAvg 则可能因全局模型误导而偏离正确方向。