[论文解读] Federated Gaussian Process: Convergence, Automatic Personalization and Multi-fidelity Modeling

Xubo Yue, Raed Al Kontar|arXiv (Cornell University)|Nov 28, 2021

Gaussian Processes and Bayesian Inference参考文献 76被引用 4

一句话总结

该论文提出联邦高斯过程回归（FGPR），一种新颖的框架，通过联邦平均和随机梯度下降实现基于高斯过程的隐私保护、去中心化学习。FGPR 实现了对全局对数似然函数临界点的收敛，并通过在客户端之间联合学习全局高斯过程先验，实现了强大的个性化，相较于现有最先进方法，在具有不确定性量化能力的多保真度建模中表现更优。

ABSTRACT

In this paper, we propose exttt{FGPR}: a Federated Gaussian process ($\mathcal{GP}$) regression framework that uses an averaging strategy for model aggregation and stochastic gradient descent for local client computations. Notably, the resulting global model excels in personalization as exttt{FGPR} jointly learns a global $\mathcal{GP}$ prior across all clients. The predictive posterior then is obtained by exploiting this prior and conditioning on local data which encodes personalized features from a specific client. Theoretically, we show that exttt{FGPR} converges to a critical point of the full log-likelihood function, subject to statistical error. Through extensive case studies we show that exttt{FGPR} excels in a wide range of applications and is a promising approach for privacy-preserving multi-fidelity data modeling.

研究动机与目标

• 开发一种用于高斯过程的联邦学习框架，以保护数据隐私，同时支持协作式模型学习。
• 建立联邦高斯过程回归框架对全局对数似然函数临界点的理论收敛性。
• 通过学习一个在本地客户端数据上条件化的共享全局高斯过程先验，实现自动个性化。
• 展示 FGPR 在具有不确定性量化和隐私保护能力的多保真度数据建模中的有效性。

提出的方法

• FGPR 使用联邦平均（FedAvg）进行全局模型聚合，结合来自客户端的本地模型更新。
• 客户端的本地计算通过在数据小批量上使用随机梯度下降（SGD）完成。
• 全局模型学习所有客户端之间的共享高斯过程先验，随后通过在本地数据上进行条件化实现个性化。
• 理论分析在核函数特征值衰减条件（如 Matérn、RBF 核）下，建立了对完整对数似然函数临界点的收敛性。
• 通过联合高斯过程公式化处理相关数据点，避免了小批量梯度的偏差。
• 基于客户端小批量大小和核函数特性，推导出统计误差界。

实验结果

研究问题

• RQ1 联邦学习能否成功扩展到高斯过程，后者本质上对所有数据点之间的相关性进行建模？
• RQ2 在合理假设下，所提出的 FGPR 框架是否能收敛到全局对数似然函数的临界点？
• RQ3 FGPR 能否通过学习共享的全局高斯过程先验并在本地数据上进行条件化，实现有效的个性化？
• RQ4 与现有最先进方法相比，FGPR 在多保真度建模中的表现如何？
• RQ5 小批量大小和核结构对 FGPR 的统计误差和收敛性有何影响？

主要发现

• FGPR 收敛到完整对数似然函数的临界点，收敛误差受小批量大小相关的统计波动限制。
• 通过学习一个在本地数据条件化下不断优化的全局高斯过程先验，该框架实现了强大的个性化。
• FGPR 在多保真度建模中表现出色，优于现有方法，在不确定性量化和数据效率方面表现更优。
• 对于具有指数或多项式特征值衰减的核函数（包括 Matérn 和 RBF 核），理论收敛性成立。
• 收敛的统计误差受与 $\frac{\log M}{M}$ 成比例的项限制，其中 $M$ 为每个客户端的数据点数量。
• 该分析首次将联邦学习的理论扩展至相关随机过程（如高斯过程），超越经验风险最小化。