[論文レビュー] Personalized Federated Learning with Gaussian Processes

Idan Achituve, Aviv Shamsian+3 more|arXiv (Cornell University)|Jun 29, 2021

Gaussian Processes and Bayesian Inference参考文献 90被引用数 11

ひとこと要約

本稿では、データの非同一性と低データ環境に対処するため、ガウス過程とディープカーネル学習を組み合わせたパーソナライズドフェデレーテッドラーニングフレームワークpFedGPを提案する。クライアント間でディープニューラルネットワークカーネルを共有しつつ、クライアント固有のGP分類器を維持することで、CIFAR-10、CIFAR-100、CINIC-100ベンチマークで最大21%の精度向上を達成し、予測が良好にキャリブレーションされ、新しいインダクティングポイント手法により一般化性能が向上する。

ABSTRACT

Federated learning aims to learn a global model that performs well on client devices with limited cross-client communication. Personalized federated learning (PFL) further extends this setup to handle data heterogeneity between clients by learning personalized models. A key challenge in this setting is to learn effectively across clients even though each client has unique data that is often limited in size. Here we present pFedGP, a solution to PFL that is based on Gaussian processes (GPs) with deep kernel learning. GPs are highly expressive models that work well in the low data regime due to their Bayesian nature. However, applying GPs to PFL raises multiple challenges. Mainly, GPs performance depends heavily on access to a good kernel function, and learning a kernel requires a large training set. Therefore, we propose learning a shared kernel function across all clients, parameterized by a neural network, with a personal GP classifier for each client. We further extend pFedGP to include inducing points using two novel methods, the first helps to improve generalization in the low data regime and the second reduces the computational cost. We derive a PAC-Bayes generalization bound on novel clients and empirically show that it gives non-vacuous guarantees. Extensive experiments on standard PFL benchmarks with CIFAR-10, CIFAR-100, and CINIC-10, and on a new setup of learning under input noise show that pFedGP achieves well-calibrated predictions while significantly outperforming baseline methods, reaching up to 21% in accuracy gain.

研究の動機と目的

• パーソナライズドフェデレーテッドラーニングにおけるデータの非同一性とクライアントごとの限られたデータ量の課題に対処すること。
• 標準的なガウス過程が低データ環境で示す限界を克服するため、クライアント間でディープカーネル関数を共有しつつ、クライアント固有のパーソナライズーションを保持すること。
• 2つの新しいインダクティングポイント手法を用いて、フェデレーテッドGPラーニングにおける一般化性能の向上と計算コストの低減を図ること。
• Pólya-Gamma補完スキームを考慮したPAC-Bayes境界を導出し、新しいクライアントに対する非空虚な一般化保証を提供すること。
• 医療など安全が求められる応用分野に適した、良好にキャリブレーションされた予測を達成すること。

提案手法

• クライアント間で共有されるディープニューラルネットワークを用いてカーネル関数をパrameter化する、パーソナライズドフェデレーテッドラーニングフレームワークpFedGPを提案する。
• 各クライアントのデータに対してPólya-Gamma補完を用いたGP分類器を適用し、分類のための効率的なベイジアン推論を可能にする。
• 2つの新しいインダクティングポイント手法を導入する：1つは計算量を増加させずに一般化性能を向上させるもの、もう1つはスケーラビリティを高めるために計算コストを低減するもの。
• Pólya-Gamma補完スキームを考慮したPAC-Bayes一般化境界を導出する。
• 予測分布とマージナル尤度をモデル最適化の代替目的関数として用い、キャリブレーションの利点を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 共有されたディープカーネル関数は、データが乏しい環境下でのパーソナライズドフェデレーテッドラーニングにおける一般化性能の向上に寄与するか？
• RQ2 インダクティングポイント手法は、GPベースのフェデレーテッドラーニングにおける一般化性能と計算効率の両方を向上させるためにどのように適合可能か？
• RQ3 PAC-Bayes境界は、フェデレーテッドGP設定における新しいクライアントに対して意味のある非空虚な一般化保証を提供できるか？
• RQ4 pFedGPは、低データおよび非同一データ環境下で、既存のPFLベースラインと比較してより優れたキャリブレーションと精度を達成するか？
• RQ5 予測分布とマージナル尤度の目的関数の選択が、モデルのキャリブレーションと性能にどのように影響するか？

主な発見

• pFedGPは、パーソナライズドフェデレーテッドラーニング環境下でCIFAR-10、CIFAR-100、CINIC-100ベンチマークにおいて、強力なベースライン比で最大21%の精度向上を達成した。
• モデルは優れたキャリブレーションを示し、信頼性図の結果から、pFedGPは温度スケーリングを必要としない（ベースライン手法とは異なり）という、内在的なキャリブレーション特性を持つことが明らかになった。
• PAC-Bayes一般化境界は、新しいクライアントに対して非空虚な保証を提供し、理論的堅牢性を裏付けた。
• pFedGP-IP-dataのバリエーションは、テスト時のカーネル計算でクライアントの訓練データを除外しても高い精度を維持しており、パーソナライズドツリー構造の有効性を示している。
• マージナル尤度目的関数は予測分布目的関数よりも良好にキャリブレーションされたモデルを生成したが、両者とも精度では同等の性能を示した。
• クラス確率に基づく補正項の導入により、クラス不均衡なデータ下での性能が向上し、α=0.1のディリクレサンプリング下でCIFAR-10で精度が83.7%から84.4%に向上した。