[論文レビュー] Federated Gaussian Process: Convergence, Automatic Personalization and Multi-fidelity Modeling

Xubo Yue, Raed Al Kontar|arXiv (Cornell University)|Nov 28, 2021

Gaussian Processes and Bayesian Inference参考文献 76被引用数 4

ひとこと要約

本稿では、フェデレーテッド・アveragingおよび確率的勾配降下法を用いてガウス過程を介してプライバシーを守りながら分散型学習を可能にする、新たなフレームワークであるフェデレーテッド・ガウス過程回帰（FGPR）を提案する。FGPRは、グローバルな対数尤度関数の臨界点に収束し、クライアント間でグローバルなGP事前分布を共同で学習することにより、不確実性の定量化を伴うマルチファシリティモデリングにおいて、最先端の手法を上回る性能を発揮する強力なパーソナライゼーションを実現する。

ABSTRACT

In this paper, we propose exttt{FGPR}: a Federated Gaussian process ($\mathcal{GP}$) regression framework that uses an averaging strategy for model aggregation and stochastic gradient descent for local client computations. Notably, the resulting global model excels in personalization as exttt{FGPR} jointly learns a global $\mathcal{GP}$ prior across all clients. The predictive posterior then is obtained by exploiting this prior and conditioning on local data which encodes personalized features from a specific client. Theoretically, we show that exttt{FGPR} converges to a critical point of the full log-likelihood function, subject to statistical error. Through extensive case studies we show that exttt{FGPR} excels in a wide range of applications and is a promising approach for privacy-preserving multi-fidelity data modeling.

研究の動機と目的

• データのプライバシーを保ちながら協調的なモデル学習を可能にするガウス過程のためのフェデレーテッド学習フレームワークの開発。
• フェデレーテッドGP回帰フレームワークがグローバル尤度関数の臨界点に理論的に収束することの確立。
• ローカルクライアントデータに条件づけられた共有グローバルGP事前分布を学習することで、自動的なパーソナライゼーションを可能にすること。
• 不確実性の定量化およびプライバシー保護を伴うマルチファシリティデータモデリングにおけるFGPRの有効性の実証。

提案手法

• FGPRは、クライアントからのローカルモデル更新を統合するためのフェデレーテッド・アveraging（FedAvg）を用いる。
• ローカルクライアントの計算は、データのミニバッチ上で確率的勾配降下法（SGD）を用いて実行される。
• グローバルモデルは、すべてのクライアントに共通する共有GP事前分布を学習し、その後ローカルデータに条件づけてパーソナライズされる。
• 理論的分析により、カーネル固有値分解の条件（例：Matérn、RBFカーネル）の下で、完全尤度関数の臨界点への収束が保証される。
• 相関のあるデータポイントを扱うために、偏りのないミニバッチ勾配を避けるために、連合ガウス過程の定式化が採用される。
• クライアントのミニバッチサイズおよびカーネル特性に基づいた統計的誤差バウンドが導出される。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程がすべてのデータポイント間の相関関係を内蔵していることに鑑み、フェデレーテッド学習がガウス過程へと成功裏に拡張可能かどうか。
• RQ2 提案されたFGPRフレームワークが、現実的な仮定のもとでグローバル尤度関数の臨界点に収束するかどうか。
• RQ3 共有グローバルGP事前分布を学習し、それをローカルデータに条件づけることで、FGPRが効果的なパーソナライゼーションを達成できるかどうか。
• RQ4 最先端の手法と比較して、FGPRはマルチファシリティモデリングにおいてどのように性能を発揮するか。
• RQ5 ミニバッチサイズおよびカーネル構造が、FGPRの統計的誤差および収束に与える影響は何か。

主な発見

• FGPRは、ミニバッチサイズに依存する統計的フラクチュエーションに依存する収束誤差の上限を有する、完全尤度関数の臨界点に収束する。
• ローカルデータへの条件づけを通じて精錬されるグローバルGP事前分布を学習することにより、強力なパーソナライゼーションを実現する。
• FGPRは、不確実性の定量化およびデータ効率性の面で、既存の手法を上回る優れた性能を示すマルチファシリティモデリングを実現する。
• 指数的または多項式的固有値分解を示すカーネル（MatérnおよびRBFカーネルを含む）に対して、理論的収束が保証される。
• 収束における統計的誤差は、$\frac{\log M}{M}$に比例する項によって上限が定められ、ここで$M$はクライアントあたりのデータポイント数を表す。
• 本分析により、フェデレーテッド学習が、GPのような相関のある確率過程への理論的拡張が初めて提供された。