[论文解读] Layer-wised Model Aggregation for Personalized Federated Learning

Xiaosong Ma, Jie Zhang+2 more|arXiv (Cornell University)|May 9, 2022

Privacy-Preserving Technologies in Data被引用 11

一句话总结

该论文提出 pFedLA，一种新颖的个性化联邦学习框架，通过执行分层模型聚合以在非独立同分布（non-IID）数据上提升个性化性能。通过使用客户端特定的超网络，基于客户端间的相似性动态学习分层聚合权重，pFedLA 在 EMNIST、FashionMNIST、CIFAR10 和 CIFAR100 数据集上相比最先进方法显著提升了准确率。

ABSTRACT

Personalized Federated Learning (pFL) not only can capture the common priors from broad range of distributed data, but also support customized models for heterogeneous clients. Researches over the past few years have applied the weighted aggregation manner to produce personalized models, where the weights are determined by calibrating the distance of the entire model parameters or loss values, and have yet to consider the layer-level impacts to the aggregation process, leading to lagged model convergence and inadequate personalization over non-IID datasets. In this paper, we propose a novel pFL training framework dubbed Layer-wised Personalized Federated learning (pFedLA) that can discern the importance of each layer from different clients, and thus is able to optimize the personalized model aggregation for clients with heterogeneous data. Specifically, we employ a dedicated hypernetwork per client on the server side, which is trained to identify the mutual contribution factors at layer granularity. Meanwhile, a parameterized mechanism is introduced to update the layer-wised aggregation weights to progressively exploit the inter-user similarity and realize accurate model personalization. Extensive experiments are conducted over different models and learning tasks, and we show that the proposed methods achieve significantly higher performance than state-of-the-art pFL methods.

研究动机与目标

• 为解决现有个性化联邦学习中模型级聚合的局限性，该方法无法捕捉客户端间各层的实用差异。
• 通过利用分层客户端间相似性，提升非 IID 数据分布下的模型个性化程度与收敛速度。
• 设计一种可扩展且通信高效的框架，支持大规模异构客户端的联邦学习。
• 实现动态的、客户端特定的聚合权重，以真实反映不同客户端各层的贡献度。

提出的方法

• 在服务器上为每个客户端训练专用的超网络，基于分层客户端间模型相似性预测分层聚合权重。
• 通过分析分层参数差异与特征表示，超网络学习客户端间的相互贡献因子。
• 采用参数化机制在训练过程中动态更新分层聚合权重，以利用随时间演化的用户间相似性。
• 提出一种启发式变体 HeurpFedLA，选择性地保留客户端的 top-k 本地层，以在最小性能损失下降低通信开销。
• 通过特征级或参数级距离度量测量分层相似性，实现细粒度的个性化。
• 该框架支持全量与部分聚合，允许在通信成本与模型准确率之间进行权衡。

实验结果

研究问题

• RQ1 在非 IID 数据分布下，分层聚合是否能优于模型级聚合？
• RQ2 客户端特定的超网络如何有效基于客户端间相似性学习分层贡献权重？
• RQ3 选择性保留本地层在多大程度上可降低通信开销而不降低模型性能？
• RQ4 所提方法是否能在个性化与收敛性方面超越现有最先进 pFL 方法？

主要发现

• 在非 IID 数据设置下，pFedLA 在 EMNIST、FashionMNIST、CIFAR10 和 CIFAR100 上的模型准确率显著高于最先进 pFL 方法。
• 分层聚合机制实现了更好的个性化，表现为在数据分布差异较大的客户端中准确率提升更明显。
• 数据分布更相似的客户端（如共享类别标签）被分配更高的聚合权重，证实了模型在分层水平检测数据相似性的能力。
• 客户端间权重热力图显示，具有重叠类别标签的相邻客户端获得更高权重，验证了框架对数据相似性的敏感性。
• HeurpFedLA 通过保留 top-k 本地层减少通信开销，性能损失可忽略不计——尤其在排除分类器层参与聚合时效果更佳。
• 在 EMNIST 上，排除分类器层参与聚合甚至能提升平均模型准确率，与 FedRep 等先前工作结果一致。