[論文レビュー] Layer-wised Model Aggregation for Personalized Federated Learning

Xiaosong Ma, Jie Zhang+2 more|arXiv (Cornell University)|May 9, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿では、非IIDデータにおけるパーソナライズ性を向上させるために、層別にモデルをアグリゲートするpFedLAという、新しいパーソナライズドフェデレーテッドラーニングフレームワークを提案する。クライアント固有のハイパーネットワークを用いて、クライアント間の類似度に基づき動的で層レベルのアグリゲーション重みを学習することで、EMNIST、FashionMNIST、CIFAR10、CIFAR100の各データセットにおいて、最先端の手法と比較して顕著に高い精度を達成する。

ABSTRACT

Personalized Federated Learning (pFL) not only can capture the common priors from broad range of distributed data, but also support customized models for heterogeneous clients. Researches over the past few years have applied the weighted aggregation manner to produce personalized models, where the weights are determined by calibrating the distance of the entire model parameters or loss values, and have yet to consider the layer-level impacts to the aggregation process, leading to lagged model convergence and inadequate personalization over non-IID datasets. In this paper, we propose a novel pFL training framework dubbed Layer-wised Personalized Federated learning (pFedLA) that can discern the importance of each layer from different clients, and thus is able to optimize the personalized model aggregation for clients with heterogeneous data. Specifically, we employ a dedicated hypernetwork per client on the server side, which is trained to identify the mutual contribution factors at layer granularity. Meanwhile, a parameterized mechanism is introduced to update the layer-wised aggregation weights to progressively exploit the inter-user similarity and realize accurate model personalization. Extensive experiments are conducted over different models and learning tasks, and we show that the proposed methods achieve significantly higher performance than state-of-the-art pFL methods.

研究の動機と目的

• モデルワイズアグリゲーションの限界を是正すること。これは、クライアント間で層レベルの有用性の違いを捉えられていないためである。
• 層レベルのクライアント間類似度を活用することで、非IIDデータ分布におけるモデルパーソナライズ性と収束速度を向上させること。
• 異種クライアントを対象とした大規模なFLをサポートするスケーラブルで通信効率の良いフレームワークを設計すること。
• クライアント固有の動的アグリゲーション重みを実現し、異なるクライアントからの各層の真の寄与度を反映させること。

提案手法

• サーバー上で各クライアントごとに専用のハイパーネットワークを訓練し、層レベルでのクライアント間モデル類似度に基づいて層別アグリゲーション重みを予測する。
• 層レベルのパラメータ差異と特徴表現を分析することで、クライアント間の相互寄与要因を学習する。
• トレーニング中に進化するクライアント間類似度を活用するために、パラメータ化されたメカニズムが動的に層別アグリゲーション重みを更新する。
• ヒューリスティックな変種であるHeurpFedLAは、クライアントからのトップ-kローカル層を効果的に保持することで、通信オーバーヘッドを低減し、パフォーマンスの損失を最小限に抑える。
• 層別類似度は、特徴レベルまたはパラメータレベルの距離計測法を用いて測定され、細粒度のパーソナライズ性を実現する。
• フレームワークは完全アグリゲーションと部分的アグリゲーションの両方をサポートし、通信コストとモデル精度のトレードオフを可能にする。

実験結果

リサーチクエスチョン

• RQ1 非IIDデータ分布下で、層別アグリゲーションはモデルワイズアグリゲーションを上回ることができるか？
• RQ2 クライアント固有のハイパーネットワークは、クライアント間類似度に基づいて効果的に層別寄与重みを学習できるか？
• RQ3 ローカル層の選択的保持によって通信オーバーヘッドをどの程度低減できるか、パフォーマンス劣化は最小限に抑えられるか？
• RQ4 提案手法は、既存の最先端のpFLアプローチと比較して、より優れたパーソナライズ性と収束性を達成できるか？

主な発見

• 非IIDデータ設定下で、EMNIST、FashionMNIST、CIFAR10、CIFAR100の各データセットにおいて、pFedLAは最先端のpFL手法と比較して顕著に高いモデル精度を達成する。
• 層別アグリゲーションメカニズムにより、特にデータ分布が著しく異なるクライアントで顕著な精度向上が見られ、より良いパーソナライズ性が実現されていることが裏付けられる。
• 類似したデータ分布を持つクライアント（例：共有されるクラスラベルを有する）は、より高いアグリゲーション重みが割り当てられ、本モデルが層レベルでのデータ類似度を正しく検出できていることが確認された。
• クライアント間重みのヒートマップから、重複するクラスラベルを持つ隣接クライアント同士がより高い重みを受けることが示され、フレームワークがデータ類似度に感受性を示していることが検証された。
• HeurpFedLAは、トップ-kローカル層の保持により通信オーバーヘッドを低減し、性能損失は最小限に抑えられる。特に分類器層をアグリゲーションから除外した場合に顕著な効果を示す。
• EMNISTでは、分類器層をアグリゲーションから除外することで平均モデル精度が向上し、FedRepなどの先行研究と一貫している。