[論文レビュー] pFedSim: Similarity-Aware Model Aggregation Towards Personalized Federated Learning

Jiahao Tan, Yipeng Zhou+3 more|arXiv (Cornell University)|May 25, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

pFedSimは、分類器の距離を用いて類似するクライアントを特定することで、モデルの分離と類似性に配慮したアグリゲーションを組み合わせたパーソナライズドフェデレーテッドラーニングフレームワークを提案する。これにより、追加の通信コストやプライバシーのリスクなしにパーソナライズド特徴抽出器を実現できる。非IIDデータにおいて、最先端のベースラインよりも平均精度が2.96%高い結果を達成した。

ABSTRACT

The federated learning (FL) paradigm emerges to preserve data privacy during model training by only exposing clients' model parameters rather than original data. One of the biggest challenges in FL lies in the non-IID (not identical and independently distributed) data (a.k.a., data heterogeneity) distributed on clients. To address this challenge, various personalized FL (pFL) methods are proposed such as similarity-based aggregation and model decoupling. The former one aggregates models from clients of a similar data distribution. The later one decouples a neural network (NN) model into a feature extractor and a classifier. Personalization is captured by classifiers which are obtained by local training. To advance pFL, we propose a novel pFedSim (pFL based on model similarity) algorithm in this work by combining these two kinds of methods. More specifically, we decouple a NN model into a personalized feature extractor, obtained by aggregating models from similar clients, and a classifier, which is obtained by local training and used to estimate client similarity. Compared with the state-of-the-art baselines, the advantages of pFedSim include: 1) significantly improved model accuracy; 2) low communication and computation overhead; 3) a low risk of privacy leakage; 4) no requirement for any external public information. To demonstrate the superiority of pFedSim, extensive experiments are conducted on real datasets. The results validate the superb performance of our algorithm which can significantly outperform baselines under various heterogeneous data settings.

研究の動機と目的

• 非IIDデータ分布によるモデル性能の低下を是正するため、フェデレーテッドラーニングにおけるデータの非同一性に対処すること。
• 追加のデータ統計情報の暴露や高い通信コストを伴わずに、パーソナライズドモデルの精度を向上させること。
• 外部情報からの漏洩を避けるために、モデルパラメータのみを用いて類似するクライアントを正確に特定する手法を開発すること。
• モデル分離と類似性に基づくアグリゲーションを統合し、パーソナライゼーションと一般化性能の両方を向上させること。
• ハイパーパrameterのチューニングにあまり敏感ではなく、最小限の計算オーバーヘッドで高い性能を達成すること。

提案手法

• pFedSimはニューラルネットワークをパーソナライズド特徴抽出器と分類器に分離し、分類器は各クライアントで局所的に訓練される。
• クライアントの類似性は、局所的分類器間のL2距離によって測定され、これにより特徴抽出器の類似性に配慮したアグリゲーションが可能になる。
• フレームワークは2段階で動作する：最初にFedAvgを用いた一般化段階、その後に反復的精錬を行うパーソナライゼーション段階。
• パーソナライゼーション段階では、特徴抽出器が局所的に更新され、その後類似する分類器を持つクライアント間でのみアグリゲーションが行われる。これにより一般化性能が向上する。
• 本手法は、生データや統計的要約を露呈せず、モデルパラメータのみに依存して類似性を推定する。
• ハイパーパrameter ρは、局所的更新とアグリゲーション更新のバランスを制御するが、実験ではその値に対して低い感度を示した。

実験結果

リサーチクエスチョン

• RQ1 分類器ベースの類似性推定は、追加のデータ情報の暴露なしにパーソナライズドフェデレーテッドラーニングの精度を向上させることができるか？
• RQ2 モデル分離と類似性に配慮したアグリゲーションを組み合わせることで、非IIDデータ環境下でのモデル性能にどのような影響を与えるか？
• RQ3 データ統計情報ではなく、モデルパラメータのみを用いてクライアントの類似性を推定することは、プライバシーと通信効率にどのような影響を与えるか？
• RQ4 提案手法はハイパーパrameterのチューニング、特にρに対してどれほど感度を示すか？
• RQ5 クライアントあたりのサンプル数が非常に少ない状況（例：Tiny-ImageNetで1クライアントあたり550サンプル）でも、本手法は高い性能を維持できるか？

主な発見

• pFedSimは、非IID環境下で複数のデータセットにおいて、最先端のベースラインよりも平均精度で2.96%高い結果を達成した。
• 1クライアントあたり550サンプルしかなく、非常に挑戦的なTiny-ImageNetデータセットにおいて、pFedSimはベースライン比で精度をほぼ10%向上させた。
• f-FedAP（バッチ正規化統計を用いて類似性を推定）は、より正確な分類器ベースの距離測定により、pFedSimが顕著に優れた性能を発揮した。
• pFedSimのモデル精度はハイパーパrameter ρに対して強くロバストであり、実験全体を通してその値にほとんど感度を示さなかった。
• pFedSimは通信および計算のオーバーヘッドを低く維持しており、モデルパラメータの交換のみを必要とし、外部データや統計要約を必要としない。
• 評価されたすべての設定において、pFedSimは最高の精度を達成した。特にCIFAR-10、CINIC-10、Tiny-ImageNet、EMNISTにおいて、非IID分布（α=0.1）およびやや穏やかな分布（α=0.5）の両方で最良の結果を出した。