[論文レビュー] FOCUS: Fairness via Agent-Awareness for Federated Learning on Heterogeneous Data

Wenda Chu, Chulin Xie+6 more|arXiv (Cornell University)|Jul 21, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、クラスタリングに基づくモデルパーソナライゼーションを通じてエージェントレベルのデータ非同一性を明示的にモデル化することにより、公平性を向上させるフェデレーテッドラーニングアルゴリズムであるFOCUSを提案する。新たな公平性指標であるエージェント認識に基づく公平性（FAA）を導入し、高品質なデータ寄与者を低品質なエージェントの影響から保護する。これにより、FedAvgと比較して顕著に高い公平性を達成しながら、多様なデータセットにおいて競争力のある精度を維持する。

ABSTRACT

Federated learning (FL) allows agents to jointly train a global model without sharing their local data. However, due to the heterogeneous nature of local data, it is challenging to optimize or even define fairness of the trained global model for the agents. For instance, existing work usually considers accuracy equity as fairness for different agents in FL, which is limited, especially under the heterogeneous setting, since it is intuitively "unfair" to enforce agents with high-quality data to achieve similar accuracy to those who contribute low-quality data, which may discourage the agents from participating in FL. In this work, we propose a formal FL fairness definition, fairness via agent-awareness (FAA), which takes different contributions of heterogeneous agents into account. Under FAA, the performance of agents with high-quality data will not be sacrificed just due to the existence of large amounts of agents with low-quality data. In addition, we propose a fair FL training algorithm based on agent clustering (FOCUS) to achieve fairness in FL measured by FAA. Theoretically, we prove the convergence and optimality of FOCUS under mild conditions for linear and general convex loss functions with bounded smoothness. We also prove that FOCUS always achieves higher fairness in terms of FAA compared with standard FedAvg under both linear and general convex loss functions. Empirically, we show that on four FL datasets, including synthetic data, images, and texts, FOCUS achieves significantly higher fairness in terms of FAA while maintaining competitive prediction accuracy compared with FedAvg and state-of-the-art fair FL algorithms.

研究の動機と目的

• エージェント間でのデータ品質の非均質性を適切に反映する、フェデレーテッドラーニングにおける強固な公平性定義の欠如に取り組むこと。
• グローバルモデルの集約において低品質なデータが原因で高品質なデータ寄与者がペナルティを受けるのを防ぐこと。
• 性能の低下を伴わずに、より強い公平性を達成するトレーニングアルゴリズムを設計すること。
• エージェント間でのパフォーマンス向上（余剰リスク低減）の公平性を測る指標であるFAAを形式化すること。

提案手法

• エージェント間の過剰リスク差に基づき、エージェント認識に基づく公平性（FAA）を新たな公平性指標として提案する。
• データ分布の類似性に基づいてエージェントをクラスタリングし、各クラスタに対して別々のモデルを学習する、クラスタリングベースのFLアルゴリズムFOCUSを導入する。
• 推論時にクラスタ固有のモデルを重み付きで集約することで、公平性と有用性を向上させる。
• 線形および一般凸損失関数の下で、弱い条件下でもFOCUSの収束性と最適性を理論的に証明する。
• 線形および凸設定の両方において、FOCUSがFedAvgよりも高いFAAを達成することを示す。
• 合成データ、画像、テキストの4つのデータセットを用いた実験により、FOCUSが公平性を向上させつつ、競争力のある精度を維持することを実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 エージェント間の非均質なデータ品質を反映する、フェデレーテッドラーニングにおける強固な公平性定義とは何か？
• RQ2 高品質なデータ寄与者のパフォーマンスが低下しないように、公平性を向上させることは可能か？
• RQ3 非均質なデータ下で、クラスタリングベースのアプローチが標準的なFedAvgを上回る公平性を達成できるか？
• RQ4 このようなフレームワークにおける公平性および収束性について、どのような理論的保証を提供できるか？
• RQ5 最新の公平なFLアルゴリズムと比較して、FOCUSは公平性と精度の両面で優れているか？

主な発見

• FOCUSは、4つの多様なデータセットにおいて、FedAvgおよび最先端の公平なFLアルゴリズムと比較して顕著に高いFAAを達成する。
• 理論的分析により、弱い条件下でもFOCUSが最適なクラスタ解に指数的に近い停留点に収束することを証明する。
• FOCUSは、高品質なデータを持つエージェントが低品質なデータ寄与者の影響によってパフォーマンスが低下しないことを保証する。
• FAAによる測定において、公平性を向上させつつも、予測精度を競争力を持って維持する。
• 実験結果から、非均質なデータ環境下において、合成データ、画像、テキストのデータセットにおいて一貫した公平性の向上が確認される。
• 理論的境界により、特に高非均質性の環境下では、FOCUSがFedAvgよりも公平性の分散をより効果的に低減することが確認される。