[논문 리뷰] Demystifying Local and Global Fairness Trade-offs in Federated Learning Using Partial Information Decomposition

Faisal Hamman, Sanghamitra Dutta|arXiv (Cornell University)|2023. 07. 21.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 페더레이티드 러닝에서 세 가지 별개의 불공정성 원인—유일한, 중복된, 가림된 불공정성—을 분석하고 분리하기 위해 부분 정보 분해(PID) 프레임워크를 도입한다. 상호정보량과 조건부 상호정보량을 사용하여 글로벌 및 로컬 공정성을 수식화함으로써, 저자들은 데이터 이질성 하에서 특히 로컬 공정성과 글로벌 공정성 간의 근본적인 상충관계와 한계를 드러내며, 이론과 실험을 통해 이 세 가지 불공정성 성분을 고려하지 않으면 어느 한 공정성 개념도 다른 것을 함의하지 않음을 입증한다.

ABSTRACT

This work presents an information-theoretic perspective to group fairness trade-offs in federated learning (FL) with respect to sensitive attributes, such as gender, race, etc. Existing works often focus on either $ extit{global fairness}$ (overall disparity of the model across all clients) or $ extit{local fairness}$ (disparity of the model at each client), without always considering their trade-offs. There is a lack of understanding regarding the interplay between global and local fairness in FL, particularly under data heterogeneity, and if and when one implies the other. To address this gap, we leverage a body of work in information theory called partial information decomposition (PID), which first identifies three sources of unfairness in FL, namely, $ extit{Unique Disparity}$, $ extit{Redundant Disparity}$, and $ extit{Masked Disparity}$. We demonstrate how these three disparities contribute to global and local fairness using canonical examples. This decomposition helps us derive fundamental limits on the trade-off between global and local fairness, highlighting where they agree or disagree. We introduce the $ extit{Accuracy and Global-Local Fairness Optimality Problem (AGLFOP)}$, a convex optimization that defines the theoretical limits of accuracy and fairness trade-offs, identifying the best possible performance any FL strategy can attain given a dataset and client distribution. We also present experimental results on synthetic datasets and the ADULT dataset to support our theoretical findings.

연구 동기 및 목표

• 데이터 이질성 하에서 로컬 공정성과 글로벌 공정성 간의 상호작용에 대한 이해 부족을 해결하기 위해.
• 상호정보량과 조건부 상호정보량과 같은 정보이론적 측정치를 사용하여 글로벌 및 로컬 공정성을 수식화하기 위해.
• 부분 정보 분해(PID)를 사용하여 공정성 불균형을 세 가지 별개의 성분—유일한 불균형, 중복된 불균형, 가림된 불균형—으로 분해하기 위해.
• 로컬 공정성과 글로벌 공정성 간의 근본적인 정보이론적 한계와 상충관계를 도출하기 위해.
• 다양한 민감 속성 분포와 상호작용 수준에서 벤치마크 데이터셋을 사용하여 PID 프레임워크의 경험적 검증을 제공하기 위해.

제안 방법

• 민감 속성 Z와 모델 예측 Ŷ 간의 상호정보량 I(Z;Ŷ)로 글로벌 공정성을 수식화한다.
• 클라이언트 식별자 S를 나타내는 조건부 상호정보량 I(Z;Ŷ|S)로 로컬 공정성을 정의한다.
• 부분 정보 분해(PID)를 적용하여 I(Z;Ŷ)와 I(Z;Ŷ|S)를 세 성분—유일한 불균형, 중복된 불균형, 가림된 불균형—으로 분해한다.
• 각 불균형 성분이 다양한 데이터 분포 시나리오에서 글로벌 및 로컬 불공정성에 어떻게 기여하는지 보여주는 표준 사례를 제시한다.
• 민감 속성 분포(α)와 상호작용 수준(λ)을 다양하게 설정한 벤치마크 데이터셋(예: Adult)에서 실험을 수행하여 세 성분의 불균형 정도를 정량화한다.
• 이중 클라이언트 및 다중 클라이언트(K=10) 설정에서 결과를 분석하여 이론적 상충관계와 현실적인 데이터 이질성 하에서 세 불균형 유형의 존재를 검증한다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝에서 글로벌 공정성과 로컬 공정성이 어떻게 상호작용하며, 어떤 조건에서 한쪽이 다른 쪽을 함의하는가?
• RQ2 클라이언트 간에 데이터가 비.i.i.d.일 경우, 공정성 달성에 대한 근본적인 정보이론적 한계는 무엇인가?
• RQ3 유일한, 중복된, 가림된 불균형이 페더레이티드 러닝에서 글로벌 및 로컬 불공정성에 어떻게 기여하는가?
• RQ4 민감 속성에 대한 데이터 이질성이 공정성 불균형의 분해에 어떤 영향을 미치는가?
• RQ5 민감 속성 Z와 클라이언트 식별자 S 간의 상호작용 수준이 가림된 불균형의 크기에 어떤 영향을 미치는가?

주요 결과

• 데이터 이질성이 존재하는 상황에서 중복된 불균형의 존재로 인해 글로벌 공정성이 로컬 공정성을 보장하지 못한다. 이는 클라이언트 간에 공유되지만 개별 클라이언트 모델이 포착하지 못하는 불공정성의 일부를 캡처하기 때문이다.
• 로컬 공정성이 글로벌 공정성을 함의하지 못하는 이유는 가림된 불균형 때문이며, 이는 민감 속성과 클라이언트 식별자 간의 상호작용에서 발생하는 상호작용적 불공정성을 나타내며, 이는 로컬 또는 글로벌 측정치만으로는 포착되지 않는다.
• 민감 속성 분포가 균형을 이루는 경우(α=0.33)에는 오직 유일한 불균형만 남아 있으며, 이는 불균형 데이터에서 공정성의 상충관계가 가장 뚜렷하다는 것을 시사한다.
• Z와 S 간의 상호작용 수준(λ)이 증가함에 따라 가림된 불균형이 크게 증가한다—λ=1일 때 0.1644에 도달함으로써, 높은 상호작용 수준이 상당한 숨겨진 불공정성을 초래할 수 있음을 보여준다.
• 다중 클라이언트 설정(K=10)에서는 세 불균형 유형 모두 관찰 가능하며, 특히 데이터가 near-i.i.d.일 경우에 더욱 두드러져, 이 프레임워크가 현실적인 페더레이티드 환경에서의 관련성을 확인한다.
• PID 프레임워크는 오직 유일한 불균형만 로컬 공정성 기법을 통해 직접 완화할 수 있으며, 중복된 불균형과 가림된 불균형은 글로벌 조율 또는 아키텍처 조정이 필요하다는 것을 드러낸다.