[論文レビュー] Efficient Personalized Federated Learning via Sparse Model-Adaptation

Daoyuan Chen, Liuyi Yao+3 more|arXiv (Cornell University)|May 4, 2023

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本論文は、軽量なゲーティング層を通じて疎な局所モデルを学習する個別化フェデレーテッドラーニング法 pFedGate を提案する。データの異質性と資源制約の下で個別化と効率性の両立を可能にし、理論的保証と強力な経験的結果を提供する。

ABSTRACT

Federated Learning (FL) aims to train machine learning models for multiple clients without sharing their own private data. Due to the heterogeneity of clients' local data distribution, recent studies explore the personalized FL that learns and deploys distinct local models with the help of auxiliary global models. However, the clients can be heterogeneous in terms of not only local data distribution, but also their computation and communication resources. The capacity and efficiency of personalized models are restricted by the lowest-resource clients, leading to sub-optimal performance and limited practicality of personalized FL. To overcome these challenges, we propose a novel approach named pFedGate for efficient personalized FL by adaptively and efficiently learning sparse local models. With a lightweight trainable gating layer, pFedGate enables clients to reach their full potential in model capacity by generating different sparse models accounting for both the heterogeneous data distributions and resource constraints. Meanwhile, the computation and communication efficiency are both improved thanks to the adaptability between the model sparsity and clients' resources. Further, we theoretically show that the proposed pFedGate has superior complexity with guaranteed convergence and generalization error. Extensive experiments show that pFedGate achieves superior global accuracy, individual accuracy and efficiency simultaneously over state-of-the-art methods. We also demonstrate that pFedGate performs better than competitors in the novel clients participation and partial clients participation scenarios, and can learn meaningful sparse local models adapted to different data distributions.

研究の動機と目的

• 資源と計算のヘテロ性をパーソナライズドフェデレーテッドラーニング（PFL）に対処する。
• ローカルデータ分布に適応する個別化された疎なモデルを学習し、クライアントの資源制限を尊重する。
• 疎なゲーティングPFL フレームワークの収束と一般化の理論的保証を提供する。
• 標準FLベンチマークにおいて、グローバルおよび局所（各クライアント）精度と効率性の優越性を示す。

提案手法

• 各クライアントに対して軽量な訓練可能なゲーティング層を導入し、ローカルデータバッチに条件づけられたバッチレベルのブロック単位での疎な重みを生成する。
• 共有されたグローバルモデルを要素ごとのゲーティングを通じて個別化された疎なモデルへ変換する：h_theta'i = h_theta_g ∘ M'i, ただし M'i は sparsity 制約の下で g_{phi_i}(x) によって生成される。
• クライアント固有の疎アスペクト制限を満たすように予測ブロック重みを最適化するナップサックベースの調整を用いてハードスパース性を強制する。
• 柔軟なモデルのサブブロックへの分割を許すオペレータ種類フリーのブロック分割をサポートし、剪定/適応を可能にする。
• 疎性とゲーティングによる計算・通信コストの削減を、密なベースラインと比較して空間・時間の分析で示す。
• 境界付き多様性と標準的なFL仮定の下で一般化と収束の結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 クライアントが多様なデータと資源制約を持つ場合、FLにおける個別化を効率的に実現するにはどうすればよいか？
• RQ2 共有グローバルモデルの疎なゲート付き適応は、収束や一般化を損なうことなく各クライアントのニーズを満たせるか？
• RQ3 疎なゲーティング付き個別化PFLの一般化・収束・複雑さの理論的保証は何か？
• RQ4 pFedGateは標準・部分参加・新規クライアントシナリオで、最先端のPFL手法と比較してどう性能を示すか？

主な発見

• pFedGateは、全体および個別の精度を向上させつつ、強力な競合PFL法よりも平均的なスパース性を大幅に低減させる（例: strongest competing PFL法よりも12倍小さいスパース性で平均精度が最大4.53%向上）。
• 疎な局所モデルとゲーティング重みを共同で学習することにより、計算および通信コストをベースラインより改善する。
• 部分参加や新規クライアント参加設定でのロバスト性を示し、データ分布に適合した意味ある疎な局所モデルを学習する。
• 収束と一般化の理論的保証があり、空間-時間の複雑性分析はSOTA手法に対する利点を示す。