[논문 리뷰] GIFAIR-FL: An Approach for Group and Individual Fairness in Federated Learning.

Xubo Yue, Maher Nouiehed외 1명|arXiv (Cornell University)|2021. 08. 05.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 12

한 줄 요약

GIFAIR-FL는 클라이언트 그룹 간 손실 격차를 억제하는 정규화 항을 도입하여 그룹 및 개인의 공정성을 동시에 강제하는 분산 학습 프레임워크이다. 이 방법은 i.i.d. 및 비i.i.i.d. 데이터 하에서 비볼록 및 강볼록 설정 모두에서 수렴을 보장하며, 기존 방법들보다 공정성 측면에서 뛰어나면서도 이미지 및 텍스트 작업에서 높은 정확도를 유지한다.

ABSTRACT

In this paper we propose exttt{GIFAIR-FL}: an approach that imposes group and individual fairness to federated learning settings. By adding a regularization term, our algorithm penalizes the spread in the loss of client groups to drive the optimizer to fair solutions. Theoretically, we show convergence in non-convex and strongly convex settings. Our convergence guarantees hold for both $i.i.d.$ and non-$i.i.d.$ data. To demonstrate the empirical performance of our algorithm, we apply our method on image classification and text prediction tasks. Compared to existing algorithms, our method shows improved fairness results while retaining superior or similar prediction accuracy.

연구 동기 및 목표

• 이질적인 클라이언트 간에 동시에 그룹 및 개인의 공정성을 확보함으로써 분산 학습의 공정성 문제를 해결한다.
• 예측 정확도를 훼손하지 않으면서 다양한 클라이언트 그룹 간 모델 성능의 편향을 완화한다.
• i.i.d. 및 비i.i.i.d. 데이터 분포 하에서 비볼록 및 강볼록 최적화 설정에 대한 이론적 수렴 보장을 제공한다.
• 이미지 분류 및 텍스트 예측과 같은 실제 작업에서 방법의 경험적 효과성을 입증한다.
• 정규화 메커니즘을 통한 공정성 제약 통합을 통해 공정성과 모델 유틸리티의 균형을 유지한다.

제안 방법

• 클라이언트 그룹 간 손실의 분산을 억제하는 공정성 정규화 항을 도입하여 균형 잡힌 성능을 촉진한다.
• 글로벌 손실 함수에 공정성 인식 정규화 성분을 추가하여 표준 분산 학습 목표를 수정한다.
• 표준 최적화 분석 기법을 사용하여 비볼록 및 강볼록 설정 모두에서 이론적 수렴을 보장한다.
• 표준 분산 학습 트레이닝 파이프라인을 사용하여 이미지 분류 및 텍스트 예측 작업에 방법을 적용한다.
• 클라이언트 측 손실 통계를 활용하여 공정성 페널티를 계산함으로써 원시 데이터를 공유하지 않는 분산 구현을 가능하게 한다.
• 하이퍼파ram터 튜닝을 통해 공정성 정규화와 주 최적화 목표 간의 트레이드오���을 균형 잡음으로써 모델 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 통합 정규화 접근법이 분산 학습에서 그룹 및 개인의 공정성을 효과적으로 강제할 수 있는가?
• RQ2 비i.i.i.d. 데이터 하에서 비볼록 및 강볼록 설정에서 제안된 방법의 수렴 성능는 어떠한가?
• RQ3 공정성 정규화가 정확도를 저하시키지 않고 얼마나 공정성 지표를 향상시키는가?
• RQ4 실제 비전 및 NLP 작업에서 기존의 공정성 인식 분산 학습 방법과 비교해 GIFAIR-FL의 성능는 어떠한가?
• RQ5 정규화 항이 다양한 클라이언트 그룹 간 손실 분포에 미치는 영향은 어떠한가?

주요 결과

• GIFAIR-FL는 비i.i.i.d. 데이터 분포 하에서도 비볼록 및 강볼록 설정 모두에서 이론적 수렴을 달성한다.
• 이미지 분류 및 텍스트 예측 벤치마크에서 기존 분산 학습 알고리즘 대비 향상된 공정성 지표를 보여준다.
• 공정성 정규화를 통합함에도 불구하고 GIFAIR-FL는 최첨단 기준선과 비교해 우수하거나 유사한 예측 정확도를 유지한다.
• 정규화 항은 클라이언트 그룹 간 손실 격차를 효과적으로 줄여 더 공정한 모델 성능을 이끌어낸다.
• 경험적 결과는 모델 유틸리티에 심각한 희생 없이 공정성 목표가 달성되었음을 확인한다.
• 이 방법은 i.i.d. 및 비i.i.i.d. 설정을 포함한 다양한 데이터 분포에서 강건하다.