[論文レビュー] An Empirical Study of Personalized Federated Learning

Koji Matsuda, Yuya Sasaki+2 more|arXiv (Cornell University)|Jun 27, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿は、多様なデータセットおよび設定において、パーソナライズドフェデレーテッドラーニング（PFL）手法の包括的な実験的ベンチマークを提示する。17の手法を評価した結果、いかなるPFLアプローチも普遍的に優れているとは限らず、特に高いデータ非同一性の条件下では、標準的なFedAvgにファインチューニングを適用する手法が、特化したPFL手法を上回ることが多いことが判明した。これは予想に反し、データ非同一性が性能を向上させる要因となっている。著者らは、再現可能なPFL実験を可能にするJupyterベースのツール「FedBench」を公開した。

ABSTRACT

Federated learning is a distributed machine learning approach in which a single server and multiple clients collaboratively build machine learning models without sharing datasets on clients. A challenging issue of federated learning is data heterogeneity (i.e., data distributions may differ across clients). To cope with this issue, numerous federated learning methods aim at personalized federated learning and build optimized models for clients. Whereas existing studies empirically evaluated their own methods, the experimental settings (e.g., comparison methods, datasets, and client setting) in these studies differ from each other, and it is unclear which personalized federate learning method achieves the best performance and how much progress can be made by using these methods instead of standard (i.e., non-personalized) federated learning. In this paper, we benchmark the performance of existing personalized federated learning through comprehensive experiments to evaluate the characteristics of each method. Our experimental study shows that (1) there are no champion methods, (2) large data heterogeneity often leads to high accurate predictions, and (3) standard federated learning methods (e.g. FedAvg) with fine-tuning often outperform personalized federated learning methods. We open our benchmark tool FedBench for researchers to conduct experimental studies with various experimental settings.

研究の動機と目的

• 多様な実験的設定において、パーソナライズドフェデレーテッドラーニング（PFL）手法の標準化された包括的評価が不足しているという問題に対処すること。
• データ非同一性を伴う現実世界のシナリオにおいて、PFL手法が非パーソナライズドフェデレーテッドラーニング（例：FedAvg）を一貫して上回るかどうかを調査すること。
• データ非同一性、クライアント数、データ量がPFLにおけるモデル性能に与える影響を特定すること。
• 再現可能なPFL実験を可能にする、公開可能なJupyterノートブックベースのベンチマークツール「FedBench」の開発およびリリース。
• 通信、精度、学習時間のトレードオフを分析することで、今後のPFL手法開発に役立つインサイトを提供すること。

提案手法

• 本研究は、FedAvg、FedProx、FedMe、Ditto、pFedMe、HypCluster、FML、LG-FedAvg、FedPer、FedRepおよびそのファインチューニング版を含む17のPFL手法を対象とした大規模な実験的ベンチマークを実施した。
• 実験は、ラベル分布のスケューを用いて制御されたデータ非同一性のもとで、5つのベンチマークデータセット（MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100、Tiny ImageNet）を対象に実施された。
• 評価では、クライアント数（2～10）、合計データサンプル数（10K～100K）、データ非同一性の度合い（IIDから極端なスケューまで）といった主要ハイパーパramータを変化させた。
• 性能は、精度、通信ラウンド、学習時間の観点から測定され、複数のランダムシードを用いた平均化が行われた。
• 再現可能で拡張可能な実験を可能にするために、Jupyterノートブックベースのベンチマークツール「FedBench」を実装し、MITライセンスのもとでリリースした。
• パーソナライズド推論における性能向上を評価するために、集約後に標準的なFedAvgモデルにファインチューニングを適用した。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットおよび設定において、どのパーソナライズドフェデレーテッドラーニング手法が最も高い性能を発揮するか？
• RQ2 パーソナライズドフェデレーテッドラーニング手法は、ファインチューニングを施した標準的なフェデレーテッドラーニングを一貫して上回るのか？
• RQ3 データ非同一性の度合いが、パーソナライズドフェデレーテッドラーニングモデルの性能にどのように影響するか？
• RQ4 PFL手法において、モデルの精度、通信効率、学習時間の間にはどのようなトレードオフが存在するか？
• RQ5 クライアント数と合計データ量は、PFLアプローチの有効性にどのように影響するか？

主な発見

• いかなるパーソナライズドフェデレーテッドラーニング手法も、すべてのデータセットおよび設定において一貫して他の手法を上回るとは限らず、『最強の手法』は存在しないことが示された。
• 標準的なフェデレーテッドラーニングにファインチューニングを適用する手法（例：FedAvg+FT）は、特にMNISTのような比較的簡単なデータセットでは、特化したPFL手法を上回る高い精度を達成することが多い。
• 高いデータ非同一性（例：極端なラベルスケュー）は、パーソナライズドフェデレーテッドラーニングにおいてモデル精度を向上させる要因であることが判明した。これは一般的な仮定とは反対の結果である。
• FedProx+FTは、CIFAR-100で1.8ラウンドの通信で99.54％のテスト精度を達成し、その設定では大多数のPFL特化手法を上回った。
• FedMe や HypCluster などの手法は高い精度（例：CIFAR-10で98.92％）を達成したが、通信ラウンド数（例：8.0～14.0ラウンド）と学習時間が著しく長くなった。
• ファインチューニングを施した集中型ベースラインは、Tiny ImageNetで95.59％の精度に達し、ファインチューニングを施したグローバルモデルが強力なパーソナライズドベースラインとして機能できることを示した。