[論文レビュー] New Metrics to Evaluate the Performance and Fairness of Personalized Federated Learning

Siddharth Divi, Yi-Shan Lin+2 more|arXiv (Cornell University)|Jul 28, 2021

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本論文は、平均精度を越えて、パーソナライズドフェデレーテッドラーニング（FL）手法を評価する包括的なパフォーマンスおよび公平性メトリクスを導入する。平均精度が最も高いモデルが必ずしも公平性に優れるわけではないことが示され、CIFAR-10の3つの非IIDデータ分割において4つの手法を用いて、ユーザーごとのパフォーマンスと公平性のトレードオフが明らかになった。

ABSTRACT

In Federated Learning (FL), the clients learn a single global model (FedAvg) through a central aggregator. In this setting, the non-IID distribution of the data across clients restricts the global FL model from delivering good performance on the local data of each client. Personalized FL aims to address this problem by finding a personalized model for each client. Recent works widely report the average personalized model accuracy on a particular data split of a dataset to evaluate the effectiveness of their methods. However, considering the multitude of personalization approaches proposed, it is critical to study the per-user personalized accuracy and the accuracy improvements among users with an equitable notion of fairness. To address these issues, we present a set of performance and fairness metrics intending to assess the quality of personalized FL methods. We apply these metrics to four recently proposed personalized FL methods, PersFL, FedPer, pFedMe, and Per-FedAvg, on three different data splits of the CIFAR-10 dataset. Our evaluations show that the personalized model with the highest average accuracy across users may not necessarily be the fairest. Our code is available at https://tinyurl.com/1hp9ywfa for public use.

研究の動機と目的

• パーソナライズドフェデレーテッドラーニング（FL）手法の評価において、ユーザーごとのパフォーマンスと公平性の両方を考慮する標準化された評価手法の欠如に対処する。
• 既存の研究が平均精度に大きく依存していることにより、ユーザーレベルのパフォーマンスの格差が隠れ、均等な改善が無視されることを特定する。
• パーソナライズドFLにおけるパフォーマンスと公平性を定量的に評価できる統合的フレームワークを提案し、異なる手法間での公平な比較を可能にする。
• CIFAR-10の3つの非IIDデータ分割において、4つの最近のパーソナライズドFL手法を評価し、平均精度と公平性のトレードオフを明らかにする。

提案手法

• ユーザーごとの精度向上を評価するための5つのパフォーマンスメトリクス（平均精度（avg-acc）、パーソナライズドユーザー改善（PUI）、モデルパフォーマンス改善（MPI）、平均パフォーマンス改善（API））を導入する。
• ユーザー間でのパフォーマンス向上の公平性を測定するための4つの公平性メトリクス（平均値（AV）、集中度スコア（CS）、エントロピー、ジャカード係数（JI））を開発する。
• CIFAR-10の3つの非IIDデータ分割（DS-1、DS-2、DS-3）において、4つのパーソナライズドFL手法（PersFL、FedPer、pFedMe、Per-FedAvg）にこれらのメトリクスを適用する。
• ユーザーごとの改善品質（QoI）をメトリクスとして用い、分布的公平性を分析する。密度プロットを用いて、ユーザー全体におけるQoIの集中度を可視化する。
• 統計的分析と可視化（密度プロット、公平性メトリクスのトレンド）を活用し、異なる手法およびデータ分割における公平性とパフォーマンスのトレードオフを比較する。
• 公開利用および評価を可能にするために、コードを https://tinyurl.com/1hp9ywfa にリリースし、再現性を確保する。

実験結果

リサーチクエスチョン

• RQ1 異なるパーソナライズドFL手法は、非IIDデータ分割において、ユーザーごとの精度向上の観点からどのように性能を発揮するか？
• RQ2 ユーザー全体の平均精度が最も高い場合、ユーザー間での均等なパフォーマンス向上がどの程度達成されているか？
• RQ3 どのパーソナライズドFL手法が、高い平均パフォーマンスとユーザー間での改善の公平性の両立を達成しているか？
• RQ4 公平性メトリクス（AV、CS、エントロピー、JI）は、ユーザー間での均等なパフォーマンス向上をどの程度適切に捉えているか？
• RQ5 データ分割戦略の選択が、公平性およびパフォーマンスの観点でのパーソナライズドFL手法の相対的順位に顕著な影響を及えるか？

主な発見

• DS-3においてPersFLは最高の平均精度（82.29％）を達成したが、複数の公平性メトリクスにおいて最も公平とは言えなかった。
• DS-2では、pFedMeが最小の平均値（AV）と最大のCS、エントロピー、JIを示し、PersFLと同等のパフォーマンスを示しながらも、最も公平な手法であった。
• DS-1では、PersFLが最高のQoI集中度と最高の公平性スコア（CS、エントロピー、JI）を示し、この分割において最も公平な手法であった。
• FedPerはDS-3で最小のAVを示したが、他の公平性メトリクスでは低く、ユーザーレベルでの改善が不均一であることが示された。
• 平均精度が最も高いモデル（DS-3におけるPersFL）が一貫して最も公平とはならず、平均パフォーマンスと公平性の明確なトレードオフが確認された。
• 公平性メトリクスは、平均精度が高くても一部のユーザーが最小限または改善を経験しない可能性があることを明らかにした。これは、平均精度を超えた均等な評価の必要性を強調している。