[论文解读] Parameterized Knowledge Transfer for Personalized Federated Learning

Zhang, Jie, Song Guo+4 more|arXiv (Cornell University)|Nov 4, 2021

Privacy-Preserving Technologies in Data参考文献 41被引用 25

一句话总结

KT-pFL 通过学习一个参数化的知识系数矩阵，用线性聚合各客户端的软预测，在具有异构模型架构的情境下实现个性化联邦学习，从而提升个性化效果和通信效率。

ABSTRACT

In recent years, personalized federated learning (pFL) has attracted increasing attention for its potential in dealing with statistical heterogeneity among clients. However, the state-of-the-art pFL methods rely on model parameters aggregation at the server side, which require all models to have the same structure and size, and thus limits the application for more heterogeneous scenarios. To deal with such model constraints, we exploit the potentials of heterogeneous model settings and propose a novel training framework to employ personalized models for different clients. Specifically, we formulate the aggregation procedure in original pFL into a personalized group knowledge transfer training algorithm, namely, KT-pFL, which enables each client to maintain a personalized soft prediction at the server side to guide the others' local training. KT-pFL updates the personalized soft prediction of each client by a linear combination of all local soft predictions using a knowledge coefficient matrix, which can adaptively reinforce the collaboration among clients who own similar data distribution. Furthermore, to quantify the contributions of each client to others' personalized training, the knowledge coefficient matrix is parameterized so that it can be trained simultaneously with the models. The knowledge coefficient matrix and the model parameters are alternatively updated in each round following the gradient descent way. Extensive experiments on various datasets (EMNIST, Fashion\_MNIST, CIFAR-10) are conducted under different settings (heterogeneous models and data distributions). It is demonstrated that the proposed framework is the first federated learning paradigm that realizes personalized model training via parameterized group knowledge transfer while achieving significant performance gain comparing with state-of-the-art algorithms.

研究动机与目标

• 通过使客户端模型异构来解决联邦学习中的统计异质性。
• 提出一个框架，通过服务器端的个性化软预测为每个客户端个性化知识迁移。
• 学习一个参数化的知识系数矩阵，能够自适应地对所有客户端的贡献进行加权。
• 提供交替优化以更新模型参数和知识系数。
• 展示在异构设置下，精度和通信效率的提升。

提出的方法

• 引入 KT-pFL，将参数聚合替换为个性化的分组知识迁移机制。
• 将每个客户端的知识表示为个性化的软预测，在服务器端使用可学习的知识系数矩阵 c 将其组合。
• 定义一个个性化损失，结合局部经验风险与聚合知识与每个客户端软预测之间的 KL 散度（通过 s(w^n, x)）。
• 使用一个交替优化过程：通过本地训练和蒸馏更新局部模型 w^n，然后通过梯度步更新知识系数矩阵 c。
• 更新规则包括在私有数据上的本地 SGD 和在公共数据集上的蒸馏，随后在服务器端用正则化项更新 c，以在合适情况下使 c 接近均匀分布。
• 给出理论性能保证（定理 4.1），在某些条件下，个性化集成可以优于仅在本地数据上训练的模型。

实验结果

研究问题

• RQ1 通过参数化系数矩阵的个性化知识迁移，是否可以提升联邦学习中异构客户端模型的性能？
• RQ2 可学习的知识系数矩阵如何影响具有相似数据分布的客户端之间的协作？
• RQ3 与基于参数的 FL 及其他 pFL 方法相比，KT-pFL 是否在保持或提高精度的同时减少通信开销？
• RQ4 在非独立同分布的联邦学习设置中使用个性化集成预测时，性能的理论保障是什么？

主要发现

• KT-pFL 在异构模型设置下，在 EMNIST、Fashion-MNIST 和 CIFAR-10 上实现与最先进的个性化和非个性化 FL 方法相当或更高的精度。
• 知识系数矩阵可靠地调节客户端之间的协作强度，提升相较于全局聚合基线的个性化效果。
• KT-pFL 通过传输软预测而非完整模型参数来实现更高的效率，降低通信开销。
• 在同质模型设置下也能在大规模仿真（多达 100 个客户端）中取得良好性能。
• 理论结果（定理 4.1）在适当的系数下分析性地支持个性化集成可以优于仅在本地数据上训练的模型。