[논문 리뷰] Mitigating Bias in Federated Learning

Annie Abay, Yi Zhou외 4명|arXiv (Cornell University)|2020. 12. 04.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 41

한 줄 요약

본 논문은 연합 학습에서 편향의 원인을 분석하고 세 가지 편향 완화 방법—로컬 재가중, 차등 프라이버시를 통한 글로벌 재가중, 연합 편향 제거—을 제안하며, 이들이 IID 및 비 IID 데이터 분포에서 프라이버시를 해치지 않으면서 편향을 감소시킬 수 있음을 보인다.

ABSTRACT

As methods to create discrimination-aware models develop, they focus on centralized ML, leaving federated learning (FL) unexplored. FL is a rising approach for collaborative ML, in which an aggregator orchestrates multiple parties to train a global model without sharing their training data. In this paper, we discuss causes of bias in FL and propose three pre-processing and in-processing methods to mitigate bias, without compromising data privacy, a key FL requirement. As data heterogeneity among parties is one of the challenging characteristics of FL, we conduct experiments over several data distributions to analyze their effects on model performance, fairness metrics, and bias learning patterns. We conduct a comprehensive analysis of our proposed techniques, the results demonstrating that these methods are effective even when parties have skewed data distributions or as little as 20% of parties employ the methods.

연구 동기 및 목표

• 연합 학습 설정에서 편향의 원인을 식별하고 분석한다.
• 데이터 프라이버시를 해치지 않으면서 중앙 집중식 편향 완화 기법을 FL에 적용한다.
• 다양한 데이터 이질성 하에서 세 가지 편향 완화 방법을 제안하고 평가한다.
• FL 시나리오에서 공정성 지표와 프라이버시 간의 트레이드를 평가한다.

제안 방법

• 당사자 선택, 데이터 이질성, 융합 알고리즘을 포함한 FL의 편향 원인을 분석한다.
• 중앙집중형 ML에서의 재가중 및 편향 제거자를 FL에 두 가지 프라이버시 보존 형태로 적용한다: 로컬 재가중(전처리)과 차등 프라이버시를 이용한 글로벌 재가중(전처리) plus 연합 편향 제거(처리 중).
• 세 가지 완화 방법을 제안한다: 로컬 재가중, DP가 있는 글로벌 재가중, 연합 편향 제거.
• 공정성 지표를 사용한 로지스틱 회귀를 이용하여 UCI Adult 및 ProPublica Compas 데이터세트에서 IID 및 비 IID 파티션으로 방법을 평가한다.
• 중앙 집중식 기준선과 비교하고 프라이버시-성능-공정성 간의 트레이드를 분석한다.

실험 결과

연구 질문

• RQ1 연합 학습에서 편향의 주요 원인은 무엇인가?
• RQ2 중앙 집중식 편향 완화 기법을 FL에 적용하되 프라이버시를 희생하지 않을 수 있는가?
• RQ3 IID 및 비 IID 데이터에서 FL에서 전처리 및 처리 중 편향 완화 방법의 효과는 어느 정도인가?
• RQ4 부분 참여 파티 및 다양한 데이터 분포가 FL에서 편향 완화 효과에 어떤 영향을 미치는가?

주요 결과

• 로컬 재가중은 편향을 감소시키고 IID 환경에서 예측 정확도를 유지한다.
• 연합 편향 제거는 여러 지표에서 편향을 줄이지만 정확도와의 트레이드오프가 있을 수 있으며, 로컬 재가중보다 더 안정적인 행동을 보인다.
• 차등 프라이버시를 통한 글로벌 재가중은 DP 예산 하에서 편향을 완화할 수 있으며, 효과성은 프라이버시 매개변수 epsilon에 의존한다.
• 부분 참여(일부 파티만 참여)도 편향 감소를 초래하여 방법의 탈락에 대한 강건성을 보여준다.
• 데이터가 고도로 불균형일 때도 파티가 양쪽 그룹에서 어느 정도 대표성을 가지면 로컬 재가중이 효과적이며, 연합 편향 제거는 덜 일관되게 효과적이다.
• 일부 공정성 지표는 FL 설정에서 신뢰할 수 없을 수 있으며, 공정성 평가를 위한 지표 선택이 중요하다.