[論文レビュー] Motley: Benchmarking Heterogeneity and Personalization in Federated Learning

Shanshan Wu, Tian Li+5 more|arXiv (Cornell University)|Jun 18, 2022

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

Motleyは、多様なクロスデバイスおよびクロスシロデータセット、5つのパーソナライズドFLアルゴリズムのモジュラー実装、複数のメトリクスを用いたきめ細やかな評価を特徴とする、パーソナライズドフェデレーテッドラーニングの包括的ベンチマークを導入する。主な発見では、最良の手法は評価基準に大きく依存し、クロスデバイス設定ではハイパーパrameterチューニングが大きな課題であり、パーソナライゼーションはパフォーマンス、公平性、通信効率の間でトレードオフを伴うことが明らかになった。

ABSTRACT

Personalized federated learning considers learning models unique to each client in a heterogeneous network. The resulting client-specific models have been purported to improve metrics such as accuracy, fairness, and robustness in federated networks. However, despite a plethora of work in this area, it remains unclear: (1) which personalization techniques are most effective in various settings, and (2) how important personalization truly is for realistic federated applications. To better answer these questions, we propose Motley, a benchmark for personalized federated learning. Motley consists of a suite of cross-device and cross-silo federated datasets from varied problem domains, as well as thorough evaluation metrics for better understanding the possible impacts of personalization. We establish baselines on the benchmark by comparing a number of representative personalized federated learning methods. These initial results highlight strengths and weaknesses of existing approaches, and raise several open questions for the community. Motley aims to provide a reproducible means with which to advance developments in personalized and heterogeneity-aware federated learning, as well as the related areas of transfer learning, meta-learning, and multi-task learning.

研究の動機と目的

• 実世界の非同一性とパーソナライゼーションの課題を反映する標準化されたベンチマークが、パーソナライズドフェデレーテッドラーニングにおいて不足している問題に対処すること。
• クロスデバイスおよびクロスシロFLを含む、多様なデータセットと設定において、既存のパーソナライズドFL手法の有効性を評価すること。
• 既存の文献でしばしば無視される、ハイパーパrameterチューニングやモデルの一般化といった実用的課題を浮き彫りにすること。
• 研究を前進させるために、再現可能でオープンソースのベンチマークを提供することにより、パーソナライズドFL、トランスファーラーニング、メタラーニング、マルチタスクラーニング分野を支援すること。
• 平均精度を超えた体系的な評価フレームワークを確立すること。公平性、通信効率、クライアントレベルのパフォーマンスに重点を置くこと。

提案手法

• Motleyは、実世界のフェデレーテッドデータセット7つ（クロスデバイス4つ、クロスシロ3つ）を公共のソースから収集し、自然なデータの非同一性を反映するベンチマークスイートを構築する。
• モジュラーかつ再現可能なコードベースで、5つの代表的なパーソナライズドFLアルゴリズム（FedAvg+Fine-tuning、HypCluster、MTL、kNN-per、ローカルトレーニング）を実装する。
• 標準化されたデータ前処理、ハイパーパrameterチューニングプロトコル、およびパーソンレベルの精度、公平性（ジニ指数）、通信コスト、MSEを含む複数のメトリクスを用いた評価を含むベンチマークを構築する。
• クロスデバイス設定では、小規模なローカルデータセットのため、ハイパーパrameterをグローバルにチューニングする必要があるが、クロスシロ設定ではクライアントごとのチューニングが可能であり、これにより手法のパフォーマンスに顕著な違いが生じる。
• 平均パーソンレベル精度、精度-通信比、クライアントレベルのメトリック差分などのメトリクスを用いて、公平性と耐性を評価する。
• ベンチマークは、複数の設定間での体系的比較を可能にし、パーソナライゼーション、一般化、展開の複雑さの間のトレードオフに関する洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 多様なクロスデバイスおよびクロスシロFL設定において、どのパーソナライズドフェデレーテッドラーニング手法が最も優れているのか。また、異なる評価メトリクス下での比較はどのようになるか。
• RQ2 評価メトリクスの選択（例：平均精度 vs. 公平性 vs. 通信効率）が、パーソナライズドFL手法のランク付けにどのように影響するか。
• RQ3 特にクロスデバイスFLにおける小規模なローカルデータセットの制約下で、ハイパーパラメータチューニングがクライアントパフォーマンスとモデルの公平性に及ぼす影響はどの程度か。
• RQ4 クラスタリング（HypCluster）のようなパーソナライゼーション技術は、単純なアンサンブルやファインチューニングに比べて、クライアントデータ分布をどれほど正確に捉えられるか。
• RQ5 パーソナライゼーションと一般化の間の実用的トレードオフは何か。今後の手法は、これらをよりよくバランスさせるためにどのような工夫が可能か。

主な発見

• FedAvg+Fine-tuningは、4つのクロスデバイスデータセットのうち3つで最高の平均パーソンレベル精度を達成し、公平性の向上も見られたが、ハイパーパラメータチューニングに極めて敏感であることが判明した。
• クロスデバイス設定では、ファインチューニング用にグローバルにチューニングされたハイパーパラメータが一部のクライアントのパフォーマンスを悪化させることがあり、小規模なローカルデータを持つクライアント間でのバランスの取れたパーソナライゼーションを実現するという根本的な課題を示している。
• TedMulti-EnEsデータセットでは、HypClusterが最高の平均パーソンレベル精度を達成したが、精度-通信比という観点ではFedAvg+Fine-tuningを下回り、FedAvgと比較して40％のクライアントのパフォーマンスを悪化させた。
• クロスシロ設定では、VehicleおよびSchoolデータセットにおいて、FedAvg+Fine-tuningとMTLが最高の平均パーソンレベル精度を達成した。MTLはハイパーパラメータが少なく、スケーラビリティの観点でも優れている可能性がある。
• ローカルトレーニングは、Vehicleデータセットにおいて他の手法とほぼ同等のパフォーマンスを示したが、プライバシーの観点では優れており、一部の設定では実用的なベースラインとして有効である可能性がある。
• ベンチマークにより、どの手法も普遍的に最適ではないことが明らかになった。『最良』のパフォーマンスは評価メトリクスに依存しており、パーソナライズドFLにおける体系的で多基準評価フレームワークの必要性が強調された。