[论文解读] Demystifying Local and Global Fairness Trade-offs in Federated Learning Using Partial Information Decomposition

Faisal Hamman, Sanghamitra Dutta|arXiv (Cornell University)|Jul 21, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种部分信息分解（PID）框架，用于分析并解耦联邦学习中三种不同的不公平来源——独特不公平、冗余不公平和隐藏不公平。通过使用互信息和条件互信息形式化全局公平与局部公平，作者揭示了在数据异质性条件下，局部公平与全局公平之间的根本权衡与限制，并通过理论和实验表明，如果不考虑这三种不公平分量，任何一种公平性概念都不能推出另一种。

ABSTRACT

This work presents an information-theoretic perspective to group fairness trade-offs in federated learning (FL) with respect to sensitive attributes, such as gender, race, etc. Existing works often focus on either $ extit{global fairness}$ (overall disparity of the model across all clients) or $ extit{local fairness}$ (disparity of the model at each client), without always considering their trade-offs. There is a lack of understanding regarding the interplay between global and local fairness in FL, particularly under data heterogeneity, and if and when one implies the other. To address this gap, we leverage a body of work in information theory called partial information decomposition (PID), which first identifies three sources of unfairness in FL, namely, $ extit{Unique Disparity}$, $ extit{Redundant Disparity}$, and $ extit{Masked Disparity}$. We demonstrate how these three disparities contribute to global and local fairness using canonical examples. This decomposition helps us derive fundamental limits on the trade-off between global and local fairness, highlighting where they agree or disagree. We introduce the $ extit{Accuracy and Global-Local Fairness Optimality Problem (AGLFOP)}$, a convex optimization that defines the theoretical limits of accuracy and fairness trade-offs, identifying the best possible performance any FL strategy can attain given a dataset and client distribution. We also present experimental results on synthetic datasets and the ADULT dataset to support our theoretical findings.

研究动机与目标

• 为解决联邦学习中关于局部公平与全局公平相互作用的理解不足，特别是在数据异质性条件下的问题。
• 使用信息论度量（如互信息和条件互信息）形式化全局公平与局部公平。
• 通过部分信息分解（PID）将公平性差异分解为三个独立分量：独特不公平、冗余不公平和隐藏不公平。
• 推导局部公平与全局公平之间的根本信息论极限与权衡。
• 通过基准数据集在不同敏感属性分布和协同水平下，对PID框架进行实证验证。

提出的方法

• 将全局公平形式化为互信息 I(Z;Ŷ)，其中 Z 为敏感属性，Ŷ 为模型预测结果。
• 将局部公平定义为条件互信息 I(Z;Ŷ|S)，其中 S 表示客户端身份。
• 应用部分信息分解（PID）将 I(Z;Ŷ) 和 I(Z;Ŷ|S) 分解为三个分量：独特不公平、冗余不公平和隐藏不公平。
• 使用典型示例说明在不同数据分布场景下，每种不公平分量如何贡献于全局与局部不公平。
• 在基准数据集（如 Adult）上进行实验，通过变化敏感属性分布（α）和协同水平（λ）来量化三种不公平分量。
• 在双客户端和多客户端（K=10）设置下分析结果，以验证理论权衡，并确认在现实数据异质性条件下三种不公平类型均存在。

实验结果

研究问题

• RQ1 在联邦学习中，全局公平与局部公平如何相互关联，何种条件下一种公平性可推出另一种？
• RQ2 当数据在客户端之间非独立同分布时，实现公平性的根本信息论极限是什么？
• RQ3 独特不公平、冗余不公平和隐藏不公平如何共同影响联邦学习中的全局与局部不公平？
• RQ4 敏感属性的数据异质性在多大程度上影响公平性差异的分解？
• RQ5 敏感属性与客户端身份之间的协同水平如何影响隐藏不公平的大小？

主要发现

• 在数据异质性条件下，全局公平无法保证局部公平，这是由于存在冗余不公平，其捕捉了在客户端之间共享但未被单个客户端模型捕获的不公平部分。
• 局部公平并不意味着全局公平，这是由于隐藏不公平的存在，其代表了敏感属性与客户端身份之间相互作用所产生的协同不公平，无法仅通过局部或全局度量单独捕获。
• 当敏感属性分布平衡时（α=0.33），仅剩独特不公平，表明在数据不平衡时公平性权衡最为显著。
• 随着敏感属性 Z 与客户端身份 S 之间的协同水平（λ）增加，隐藏不公平显著增长——在 λ=1 时达到 0.1644，表明高协同水平可能导致显著的隐藏不公平。
• 在多客户端设置（K=10）中，可观察到所有三种不公平类型，尤其是在数据接近独立同分布时，证实了该框架在真实联邦学习场景中的适用性。
• PID 框架揭示，唯一可通过局部公平技术直接缓解的分量是独特不公平，而冗余不公平与隐藏不公平则需要全局协调或架构调整。