[論文レビュー] SplitGP: Achieving Both Generalization and Personalization in Federated Learning

Dong-Jun Han, Do-Yeon Kim+3 more|arXiv (Cornell University)|Dec 16, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

SplitGP は、フェデレーテッドラーニングにおける新しいスプリット学習フレームワークを提案し、モデルのコンponentをクライアント側（パーソナライズド）とサーバー側（一般化）に分離することで、リソース制限のあるデバイス上で効率的かつプライバシーを守った推論を可能にする。パーソナライズドと一般化の両方を同時に最適化することで、ベースラインと比較して通信負荷が最大89.4%低減され、ストレージが10.6%削減され、非IIDデータ分布下でも顕著な性能を発揮する。

ABSTRACT

A fundamental challenge to providing edge-AI services is the need for a machine learning (ML) model that achieves personalization (i.e., to individual clients) and generalization (i.e., to unseen data) properties concurrently. Existing techniques in federated learning (FL) have encountered a steep tradeoff between these objectives and impose large computational requirements on edge devices during training and inference. In this paper, we propose SplitGP, a new split learning solution that can simultaneously capture generalization and personalization capabilities for efficient inference across resource-constrained clients (e.g., mobile/IoT devices). Our key idea is to split the full ML model into client-side and server-side components, and impose different roles to them: the client-side model is trained to have strong personalization capability optimized to each client's main task, while the server-side model is trained to have strong generalization capability for handling all clients' out-of-distribution tasks. We analytically characterize the convergence behavior of SplitGP, revealing that all client models approach stationary points asymptotically. Further, we analyze the inference time in SplitGP and provide bounds for determining model split ratios. Experimental results show that SplitGP outperforms existing baselines by wide margins in inference time and test accuracy for varying amounts of out-of-distribution samples.

研究の動機と目的

• エッジAIサービスにおける、パーソナライズドと一般化の根本的トレードオフを解消すること。
• 推論処理におけるリソース制限のあるモバイル機器およびIoTデバイスの計算および通信のオーバーヘッドを低減すること。
• サーバーへの生データ送信を回避することで、プライバシー保護型の推論を実現すること。
• 分布内および分布外のテストサンプルの両方で高い精度を維持できるスケーラブルなソリューションを提供すること。
• さまざまなデータ分布シフトに耐性を持ち、推論効率と性能のバランスを取るモデルスプリット戦略を設計すること。

提案手法

• 完全な機械学習モデルを、クライアント側モデル（φ）と共有サーバー側モデル（θ）の2つのコンponentに分割する。
• クライアント側モデルを、各クライアントのローカルデータ分布に最適化するように学習させ、パーソナライズド性能を向上させる。
• サーバー側モデルを、すべてのクライアントの分布外タスクに一般化できるように学習させ、耐性を高める。
• ハイブリッド推論戦略を採用：信頼度スコアがしきい値を下回る分布内サンプルはクライアントで予測し、上回る分布外サンプルはサーバーで予測する。
• トレーニング中にパーソナライズドと一般化の目的をバランスさせるハイパーパrameter λ を含む損失関数を導入する。
• 推論時間の分析を行い、遅延とリソース使用量を最小化する最適なモデルスプリット比（ρ）の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングシステムは、どのようにしてローカルデータに対する強いパーソナライズド性能と、分布外サンプルに対する一般化性能を同時に達成できるか？
• RQ2 推論時間とリソース使用量を最小化する最適なクライアント・サーバー間モデルスプリット比（ρ）は何か？
• RQ3 パーソナライズドと一般化のトレードオフを制御するハイパーパrameter λ が、さまざまなデータ分布シフト下でのモデル性能に与える影響は何か？
• RQ4 信頼度しきい値（E_th）の設定が、クライアントとサーバー間での推論タスクの割り当てに与える影響は何か？
• RQ5 スプリット学習フレームワークは、エッジAIの展開において、通信量とストレージのオーバーヘッドを顕著に削減しながらも、高い精度を維持できるか？

主な発見

• FMNIST ではストレージ要件が 10.62%、CIFAR-10 では 10.64% 削減され、クライアント側コンponent φ のみを格納することで実現された。
• FMNIST で ρ=0.8 の場合、SplitGP は通信負荷を 20.30% のみに抑える一方で最良の性能を達成した。
• λ=0.2 で ρ が [0,1] に一様分布する場合、SplitGP は分布外割合が変動する状況下でも、FMNIST で最高の期待テスト精度（84.15%）を達成した。
• ρ ∈ [0,0.2] の範囲では、他の λ 値よりも λ=0.3 が優れた性能を示し、分布シフトが小さい状況下ではパーソナライズド重みを高く設定することが有益であることを示した。
• ρ=0.2 の場合、クライアント側モデル単体で 90.93% の精度を達成したが、全モデル（φ+θ）では 88.06% にとどまり、SplitGP のハイブリッドアプローチが両コンponent単体の性能を上回ることを示した。
• アブレーションスタディの結果、SplitGP はクライアント側のパーソナライズドとサーバー側の一般化を効果的に活用しており、最適な λ と E_th を使用した場合、ρ が増加するにつれて性能が向上することが確認された。