[论文解读] Federated Learning with Personalization Layers

Manoj Ghuhan Arivazhagan, Vinay K. Aggarwal+2 more|arXiv (Cornell University)|Dec 2, 2019

Privacy-Preserving Technologies in Data参考文献 10被引用 517

一句话总结

FedPer 引入一种基于基础层 + 个性化层的联邦学习架构，使用用 FedAvg 训练的全局基础层，以及在设备上训练的本地个性化层以解决统计异质性，在非 IID CIFAR 分区和 Flickr-AES 上相较于 FedAvg 显示出性能提升。

ABSTRACT

The emerging paradigm of federated learning strives to enable collaborative training of machine learning models on the network edge without centrally aggregating raw data and hence, improving data privacy. This sharply deviates from traditional machine learning and necessitates the design of algorithms robust to various sources of heterogeneity. Specifically, statistical heterogeneity of data across user devices can severely degrade the performance of standard federated averaging for traditional machine learning applications like personalization with deep learning. This paper pro-posesFedPer, a base + personalization layer approach for federated training of deep feedforward neural networks, which can combat the ill-effects of statistical heterogeneity. We demonstrate effectiveness ofFedPerfor non-identical data partitions ofCIFARdatasetsand on a personalized image aesthetics dataset from Flickr.

研究动机与目标

• 动机：在个性化任务中，联邦学习中的统计异质性挑战。
• 提出一个基础层+个性化层的模型，用于建模用户特定信息。
• 开发 FedPer 算法，将 base layer 的 FedAvg 与个性化层的本地 SGD 结合起来。
• 在非同质分区的 CIFAR 数据集和 Flickr-AES 数据集上展示有效性。

提出的方法

• 定义一个具有共享基础层和客户端特定个性化层的神经网络。
• 通过 FedAvg 全局训练基础层；在每个设备本地训练个性化层。
• 服务器使用带有客户端权重的平均来聚合基础层权重；个性化层保留在设备上。
• 在全局聚合之间使用 SGD 更新基础层和个性化层。
• 在非 IID 数据分区和多种个性化层配置下进行评估。

实验结果

研究问题

• RQ1 个性化层在非同质数据分区下如何影响联邦学习的性能？
• RQ2 个性化层数量对准确性和各客户端公平性的影响如何？
• RQ3 当个性化层捕捉用户特定方面时，基础层是否仍然学习到有意义的表示？
• RQ4 FedPer 与标准 FedAvg 在 CIFAR-10/100 和 Flickr-AES 等数据集上的比较如何？
• RQ5 FedPer 是否能在不依赖中心化数据共享的情况下实现模型个性化？

主要发现

• FedPer 在异质数据分区下收敛更快，且客户端平均测试准确率高于 FedAvg。
• FedPer 减少跨客户端的性能差异，提升对用户的公平性。
• FedAvg 在 Flickr-AES 个性化任务表现较差，而 FedPer 通过个性化层捕捉用户偏好。
• 增加个性化层通常有帮助，效果因数据集和架构而异。
• 在 rounds 之间微调个性化层可在某些设置（CIFAR-100）进一步提升客户端表现，但在 Flickr-AES 上呈现混合结果。