[論文レビュー] Fairness in Federated Learning via Core-Stability

Bhaskar Ray Chaudhury, Linyi Li+3 more|arXiv (Cornell University)|Nov 3, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿は、協力的ゲーム理論を用いて、参加者間の連携がグローバルモデルの利益を損なうのを防ぐために、フェデレーテッドラーニングにおけるコア安定型フェアネスを導入する。提案されるプロトコルであるCoreFedは、低品質なデータに対しても頑健で、比例性とパレート最適性を満たすコア安定型予測子を達成し、CIFAR-10 や Adult といった実世界のデータセットにおいて、FedAvgと同等の精度を維持しながらフェアネスにおいて優れた性能を示す。

ABSTRACT

Federated learning provides an effective paradigm to jointly optimize a model benefited from rich distributed data while protecting data privacy. Nonetheless, the heterogeneity nature of distributed data makes it challenging to define and ensure fairness among local agents. For instance, it is intuitively "unfair" for agents with data of high quality to sacrifice their performance due to other agents with low quality data. Currently popular egalitarian and weighted equity-based fairness measures suffer from the aforementioned pitfall. In this work, we aim to formally represent this problem and address these fairness issues using concepts from co-operative game theory and social choice theory. We model the task of learning a shared predictor in the federated setting as a fair public decision making problem, and then define the notion of core-stable fairness: Given $N$ agents, there is no subset of agents $S$ that can benefit significantly by forming a coalition among themselves based on their utilities $U_N$ and $U_S$ (i.e., $\frac{|S|}{N} U_S \geq U_N$). Core-stable predictors are robust to low quality local data from some agents, and additionally they satisfy Proportionality and Pareto-optimality, two well sought-after fairness and efficiency notions within social choice. We then propose an efficient federated learning protocol CoreFed to optimize a core stable predictor. CoreFed determines a core-stable predictor when the loss functions of the agents are convex. CoreFed also determines approximate core-stable predictors when the loss functions are not convex, like smooth neural networks. We further show the existence of core-stable predictors in more general settings using Kakutani's fixed point theorem. Finally, we empirically validate our analysis on two real-world datasets, and we show that CoreFed achieves higher core-stability fairness than FedAvg while having similar accuracy.

研究の動機と目的

• ローカルデータの分布が非IIDであり、一部のエージェントが低品質なデータを保有する状況におけるフェデレーテッドラーニングにおけるフェアネスの問題に対処すること。
• グローバルモデルの利益を損なう形で、参加者間の連携が利益を得ることを防ぐフェアネスの概念を形式化すること。
• コア安定型フェアネス、比例性、パレート最適性を保証するフェデレーテッドラーニングプロトコルの設計。
• CoreFedがFedAvgより高いフェアネスを達成していることを実証的に検証すること。

提案手法

• エージェントが共有するグローバルモデルから利益を得るという文脈で、フェデレーテッドラーニングをパブリック意思決定問題としてモデル化する。
• ブロッキング連合が存在しないことにより定義されるコア安定型フェアネス：部分集合Sがグローバルモデルに対する|S|/Nに比例する利益を得ることはできない。
• 凸損失関数を用いたコア安定型予測子の最適化を実現するCoreFedというフェデレーテッドトレーニングプロトコルを提案。非凸なケース（例：ニューラルネットワーク）に対しても近似解を用いる。
• 一般設定においてコア安定型予測子の存在を保証するため、カクタニの不動点定理を用いる。
• 損失関数をU = M - ℓに変換することで、モデルの損失を利得に変換する。ここでMはデータセット固有の定数であり、利得スケールの正規化に用いる。
• CoreFedでは、連合形成の可能性を最小化することを目的とした勾配ベースの集約ルールを採用する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、参加者がブロッキング連合を結成することを防ぐフェアネスの概念を定義可能か？
• RQ2 非IIDかつ異種のデータを有するフェデレーテッドラーニングにおいて、コア安定型フェアネスを形式化し、達成可能か？
• RQ3 CoreFedは、精度を維持しながらFedAvgよりフェアネスにおいて優れているか？
• RQ4 ノイズの多いデータ分布や低品質なデータ下でも、コア安定型フェアネスはどのように性能を示すか？
• RQ5 ディープニューラルネットワークのような非凸な設定でも、コア安定型フェアネスを保証できるか？

主な発見

• CoreFedは、∑ᵢ uᵢ(θ′)/uᵢ(θ*) < n が成り立つことでコア安定型フェアネスを達成している。ここでθ′はFedAvg、θ*はCoreFedを表し、連合による利益獲得が不可能であることを示している。
• Adultデータセットにおいて、CoreFedは平均利得を1.61（FedAvg）から1.68に、乗法的利得を2.91から3.61に向上させた。
• VGG-11を用いたCIFAR-10において、CoreFedは乗法的利得を2.89（FedAvg）から17.15に向上させ、利得分布におけるフェアネスの強化を示した。
• ガウスノイズを追加したノイズの多いデータ設定下でも、CoreFedは全エージェントの利得を高く維持し、特に最もノイズの強いエージェントでは1.95（CoreFed）対1.42（FedAvg）の差を示した。
• CIFAR-10で10エージェントを用いた実験では、乗法的利得が7,084（FedAvg）から9,173に上昇し、大規模なスケールでもフェアネスの向上を確認した。
• CoreFedはFedAvgと同等の精度を維持しながら、顕著にフェアネスを向上させた。これは、フェアネスとパフォーマンスが排反的ではないことを示している。