[論文レビュー] Demystifying Local and Global Fairness Trade-offs in Federated Learning Using Partial Information Decomposition

Faisal Hamman, Sanghamitra Dutta|arXiv (Cornell University)|Jul 21, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、フェデレーテッドラーニングにおける3つの異なる不正義の源—独自、重複、隠蔽不正義—を分析・分離するための部分的情報分解（PID）フレームワークを導入する。相互情報量および条件付き相互情報量を用いてグローバルおよびローカルの公平性を形式化することで、特にデータ非独立同分布性下において、ローカルとグローバルの公平性の間の根本的で制限されたトレードオフを明らかにし、理論と実験を通じて、これらの3つの不正義要因を考慮しない限り、どちらの公平性概念も他方を含意しないことを示している。

ABSTRACT

This work presents an information-theoretic perspective to group fairness trade-offs in federated learning (FL) with respect to sensitive attributes, such as gender, race, etc. Existing works often focus on either $ extit{global fairness}$ (overall disparity of the model across all clients) or $ extit{local fairness}$ (disparity of the model at each client), without always considering their trade-offs. There is a lack of understanding regarding the interplay between global and local fairness in FL, particularly under data heterogeneity, and if and when one implies the other. To address this gap, we leverage a body of work in information theory called partial information decomposition (PID), which first identifies three sources of unfairness in FL, namely, $ extit{Unique Disparity}$, $ extit{Redundant Disparity}$, and $ extit{Masked Disparity}$. We demonstrate how these three disparities contribute to global and local fairness using canonical examples. This decomposition helps us derive fundamental limits on the trade-off between global and local fairness, highlighting where they agree or disagree. We introduce the $ extit{Accuracy and Global-Local Fairness Optimality Problem (AGLFOP)}$, a convex optimization that defines the theoretical limits of accuracy and fairness trade-offs, identifying the best possible performance any FL strategy can attain given a dataset and client distribution. We also present experimental results on synthetic datasets and the ADULT dataset to support our theoretical findings.

研究の動機と目的

• フェデレーテッドラーニングにおけるローカルとグローバルの公平性の相互作用、特にデータ非独立同分布性下での理解不足に対処すること。
• 相互情報量や条件付き相互情報量などの情報理論的測度を用いて、グローバルおよびローカルの公平性を形式化すること。
• 部分的情報分解（PID）を用いて、公平性の不均衡を3つの明確に異なる成分—独自不正義、重複不正義、隠蔽不正義—に分解すること。
• ローカルとグローバルの公平性の間の根本的で情報理論的な限界とトレードオフを導出すること。
• さまざまな感受性属性の分布と協調度レベルを想定したベンチマークデータセットを用いた実験を通じて、PIDフレームワークの実証的妥当性を提供すること。

提案手法

• 感受性属性Zとモデル予測Ŷの間の相互情報量I(Z;Ŷ)としてグローバル公平性を形式化する。
• クライアントIDを表すSを用いて、ローカル公平性を条件付き相互情報量I(Z;Ŷ|S)として定義する。
• 部分的情報分解（PID）を適用し、I(Z;Ŷ)およびI(Z;Ŷ|S)を3つの成分に分解する：独自不正義、重複不正義、隠蔽不正義。
• 代表的な例を用いて、各不正義成分が異なるデータ分布状況下でグローバルおよびローカルの不公平性にどのように寄与するかを説明する。
• 感受性属性の分布（α）と協調度（λ）を変化させたベンチマークデータセット（例：Adult）を用いた実験を通じて、3つの不正義成分を定量的に評価する。
• 2クライアントおよび多クライアント（K=10）設定において結果を分析し、理論的トレードオフの妥当性および実際のデータ非独立同分布性下での3つの不正義タイプの存在を検証する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるグローバル公平性とローカル公平性の関係は何か？ どのような条件下で片方が他方を含意するか？
• RQ2 クライアント間でデータが非独立同分布である場合、公平性を達成するための根本的で情報理論的な限界は何か？
• RQ3 独自、重複、隠蔽不正義の各成分は、フェデレーテッドラーニングにおけるグローバルおよびローカルの不公平性にどのように寄与するか？
• RQ4 感受性属性のデータ非独立同分布性が、公平性不均衡の分解にどのように影響するか？
• RQ5 感受性属性とクライアントIDとの間の協調度が、隠蔽不正義の大きさにどのように影響するか？

主な発見

• データ非独立同分布性下では、重複不正義の存在によりグローバル公平性がローカル公平性を保証しない。重複不正義とは、複数のクライアントに共有されるが、個々のクライアントモデルでは捉えられない不公平性の部分を表す。
• ローカル公平性は、感受性属性とクライアントIDの相互作用によって生じる協調的不正義（隠蔽不正義）のおかげでグローバル公平性を保証しない。この成分は、ローカルまたはグローバルの測定値のいずれにも捉えられない。
• 感受性属性の分布がバランスしている（α=0.33）場合、唯一の残存成分は独自不正義であり、不均衡なデータ下での公平性のトレードオフが顕著であることを示している。
• ZとS間の協調度（λ）が高くなるにつれて、隠蔽不正義が著しく増大し、λ=1で0.1644に達する。これは、高水準の協調度が顕在化しない深刻な不正義を引き起こす可能性があることを示している。
• 多クライアント設定（K=10）では、3つの不正義タイプすべてが観察可能であり、特にデータが近似的にi.i.d.である場合に顕著になる。これは、フレームワークが現実のフェデレーテッド環境においても有効であることを確認している。
• PIDフレームワークは、独自不正義のみがローカル公平性技術によって直接是正可能であることを明らかにした。一方、重複不正義および隠蔽不正義は、グローバルな調整やアーキテクチャの見直しが必要である。