[论文解读] Personalized Federated Learning with Gaussian Processes

Idan Achituve, Aviv Shamsian+3 more|arXiv (Cornell University)|Jun 29, 2021

Gaussian Processes and Bayesian Inference参考文献 90被引用 11

一句话总结

该论文提出 pFedGP，一种个性化联邦学习框架，结合高斯过程与深度核学习，以应对数据异构性和低数据场景。通过在客户端之间共享深度神经网络核函数，同时保持客户端特定的高斯过程分类器，pFedGP 在 CIFAR-10、CIFAR-100 和 CINIC-100 基准上实现了高达 21% 的准确率提升，预测结果校准良好，并通过新颖的诱导点方法提升了泛化能力。

ABSTRACT

Federated learning aims to learn a global model that performs well on client devices with limited cross-client communication. Personalized federated learning (PFL) further extends this setup to handle data heterogeneity between clients by learning personalized models. A key challenge in this setting is to learn effectively across clients even though each client has unique data that is often limited in size. Here we present pFedGP, a solution to PFL that is based on Gaussian processes (GPs) with deep kernel learning. GPs are highly expressive models that work well in the low data regime due to their Bayesian nature. However, applying GPs to PFL raises multiple challenges. Mainly, GPs performance depends heavily on access to a good kernel function, and learning a kernel requires a large training set. Therefore, we propose learning a shared kernel function across all clients, parameterized by a neural network, with a personal GP classifier for each client. We further extend pFedGP to include inducing points using two novel methods, the first helps to improve generalization in the low data regime and the second reduces the computational cost. We derive a PAC-Bayes generalization bound on novel clients and empirically show that it gives non-vacuous guarantees. Extensive experiments on standard PFL benchmarks with CIFAR-10, CIFAR-100, and CINIC-10, and on a new setup of learning under input noise show that pFedGP achieves well-calibrated predictions while significantly outperforming baseline methods, reaching up to 21% in accuracy gain.

研究动机与目标

• 解决个性化联邦学习中数据异构性及每个客户端数据有限的挑战。
• 通过在客户端之间共享深度核函数，同时保留客户端特定的个性化特性，克服标准高斯过程在低数据场景下的局限性。
• 通过两种新颖的诱导点方法，提升联邦高斯过程学习中的泛化能力并降低计算成本。
• 基于推导的 PAC-Bayes 边界，为新客户端提供非平凡的泛化保证。
• 实现适合医疗等安全关键应用的校准良好预测。

提出的方法

• 提出 pFedGP，一种使用共享深度神经网络参数化客户端间核函数的个性化联邦学习框架。
• 对每个客户端的数据应用带有 Pólya-Gamma 扩展的高斯过程分类器，实现分类任务的高效贝叶斯推断。
• 提出两种新颖的诱导点方法：一种在不增加计算量的前提下提升泛化能力，另一种降低计算成本以提升可扩展性。
• 为新客户端推导出考虑 Pólya-Gamma 扩展方案的 PAC-Bayes 泛化边界。
• 采用预测分布和边际似然作为模型优化的替代目标函数，并通过实证验证其校准优势。

实验结果

研究问题

• RQ1 在数据稀缺条件下，共享的深度核函数是否能提升个性化联邦学习中的泛化能力？
• RQ2 如何调整诱导点方法，以在基于高斯过程的联邦学习中同时提升泛化能力与计算效率？
• RQ3 PAC-Bayes 边界能否为联邦高斯过程设置中新客户端提供有意义且非平凡的泛化保证？
• RQ4 在低数据与数据异构场景下，pFedGP 是否相比现有个性化联邦学习基线方法展现出更优的校准性与准确率？
• RQ5 在预测分布与边际似然目标函数之间进行选择，如何影响模型的校准性与性能表现？

主要发现

• 在个性化联邦学习设置下，pFedGP 在 CIFAR-10、CIFAR-100 和 CINIC-100 基准上相比强基线模型准确率最高提升 21%。
• 该方法展现出优越的校准性能，可靠性图显示 pFedGP 无需温度缩放——这与基线方法不同——因其固有的校准特性。
• PAC-Bayes 泛化边界为新客户端提供了非平凡的保证，验证了理论上的鲁棒性。
• pFedGP-IP-data 变体即使在推理时排除客户端训练数据的核计算，仍能保持高准确率，凸显了个性化树结构的有效性。
• 边际似然目标函数生成的模型校准性优于预测分布目标函数，尽管两者在准确率上表现相近。
• 基于类别概率的校正项在类别不平衡数据下提升了性能，使在 α=0.1 Dirichlet 采样下 CIFAR-10 的准确率从 83.7% 提升至 84.4%。