[논문 리뷰] GIFAIR-FL: A Framework for Group and Individual Fairness in Federated Learning

Xubo Yue, Maher Nouiehed외 1명|arXiv (Cornell University)|2021. 08. 05.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 그룹 및 개인의 공정성을 동시에 보장하기 위해 클라이언트 그룹 간 손실 격차를 페널티로 삼는 정규화 항을 도입한 새로운 피어드러닝 학습 프레임워크 GIFAIR-FL을 제안한다. 이 방법은 i.i.d. 및 non-i.i.i.d. 데이터 하에서 비볼록 및 강볼록 설정에서도 수렴을 보장하며, 이미지 분류 및 텍스트 예측 작업에서 정확도를 희생시키지 않고 공정성을 향상시킨다.

ABSTRACT

In this paper we propose exttt{GIFAIR-FL}: a framework that imposes extbf{G}roup and extbf{I}ndividual extbf{FAIR}ness to extbf{F}ederated extbf{L}earning settings. By adding a regularization term, our algorithm penalizes the spread in the loss of client groups to drive the optimizer to fair solutions. Our framework exttt{GIFAIR-FL} can accommodate both global and personalized settings. Theoretically, we show convergence in non-convex and strongly convex settings. Our convergence guarantees hold for both $i.i.d.$ and non-$i.i.d.$ data. To demonstrate the empirical performance of our algorithm, we apply our method to image classification and text prediction tasks. Compared to existing algorithms, our method shows improved fairness results while retaining superior or similar prediction accuracy.

연구 동기 및 목표

• 제한된 데이터 또는 자원을 가진 클라이언트가 모델 훈련에서 소외되는 문제를 해결하기 위해.
• 인구 통계적 또는 데이터 분포 그룹 간의 그룹 공정성과 개별 클라이언트의 개인 공정성을 동시에 강화하는 통합 프레임워크를 개발하기 위해.
• 비볼록 및 강볼록 목표 함수에 대해 i.i.d. 및 non-i.i.d. 데이터 분포 하에서 이론적 수렴 보장을 제공하기 위해.
• 실세계 작업인 이미지 분류 및 텍스트 예측에서의 실증적 검증을 통해 공정성을 향상시키면서도 높은 정확도를 유지함을 보여주기 위해.

제안 방법

• 그룹 간 클라이언트 손실의 분산을 페널티로 삼는 정규화 항을 글로벌 목표 함수에 도입하여 균형 잡힌 성능을 촉진한다.
• 클라이언트 기여도를 그룹 수준의 손실 분포에 따라 조정하는 가중치 평균화 기법을 사용하여 더 공정한 수렴을 유도한다.
• 비볼록 및 강볼록 설정 모두에서 수렴성을 보장하는 분석 프레임워크를 도입하며, 기대 기울기 노름에 대한 경계를 설정한다.
• 모델 업데이트 과정에 공정성 정규화를 통합하여 글로벌 및 개인 맞춤형 피어드러닝 설정을 모두 지원한다.
• 기대 기울기 노름과 최적성 갭에 대한 이론적 경계를 유도하여 감소하는 단계 크기 하에서 수렴성을 입증한다.
• FEMNIST와 같은 표준 벤치마크를 사용하여 이미지 및 텍스트 작업에 방법을 적용하고, 공정성 하이퍼파rameter λ에 대한 민감도 분석을 수행한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 모델 정확도를 훼손시키지 않고 피어드러닝에서 그룹 및 개인의 공정성을 효과적으로 강화할 수 있는가?
• RQ2 제안된 정규화 항이 i.i.i.d. 및 non-i.i.i.d. 데이터 하에서 비볼록 및 강볼록 최적화 설정에서 수렴에 어떤 영향을 미치는가?
• RQ3 공정성 하이퍼파rameter λ는 다양한 클라이언트 그룹 간의 공정성과 성능 트레이드오프에 어떤 영향을 미치는가?
• RQ4 실세계 작업에서 기존의 공정성 인식 피어드러닝 방법과 비교해 GIFAIR-FL은 공정성 지표와 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 GIFAIR-FL의 이론적 수렴 보장은 개인 맞춤형 피어드러닝 설정으로 확장될 수 있는가?

주요 결과

• GIFAIR-FL은 그룹 간 손실 격차를 크게 감소시키며, 민감도 분석을 통해 λ를 증가시킬수록 그룹 성능 지표 간 격차가 줄어듦을 확인했다.
• 비i.i.d. 데이터 분포 하에서도 베이스라인 방법 대비 예측 정확도를 유지하거나 향상시켰다.
• 이론적 분석을 통해 비볼록 및 강볼록 설정 모두에서 수렴성을 확인하였으며, 감소하는 단계 크기 하에서 기대 기울기 노름이 O(1/√T) 속도로 감소함을 입증했다.
• 글로벌 및 개인 맞춤형 피어드러닝 설정 모두에 대해 수렴 경계를 도출하였으며, 데이터 이질성과 클라이언트 분산에 명시적인 의존성을 보였다.
• FEMNIST 및 텍스트 예측 작업에서의 실증 결과는 모든 클라이언트 그룹, 특히 소수자 또는 낮은 데이터를 가진 클라이언트에서 일관된 공정성 향상을 보였다.
• 다양한 데이터 분포에 대해 강건하며, 여러 통신 라운드 동안 안정적인 성능을 유지하였고, 정확도 저하가 최소한이었다.