[논문 리뷰] Enforcing fairness in private federated learning via the modified method of differential multipliers.

Borja Rodríguez-Gálvez, Filip Granqvist외 2명|arXiv (Cornell University)|2021. 09. 17.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 22

한 줄 요약

이 논문은 중심화된 환경과 피어드 페더레이티드 학습 환경에서 모두 공정성 제약 조건을 처리할 수 있도록 수정된 승수법을 확장하여, 개인 정보 보호 페더레이티드 학습에서 그룹 공정성을 강제하는 새로운 알고리즘인 FPFL을 제안한다. 실험 결과, 이 알고리즘은 비밀성 보장이 부여된 페더레이티드 학습 환경에서 소수 집단의 성능 저하가 비례적으로 악화되는 문제를 효과적으로 완화함을 보여주었다. 이는 페더레이티드 Adult 및 불공정한 FEMNIST 데이터셋을 대상으로 확인되었다.

ABSTRACT

Federated learning with differential privacy, or private federated learning, provides a strategy to train machine learning models while respecting users' privacy. However, differential privacy can disproportionately degrade the performance of the models on under-represented groups, as these parts of the distribution are difficult to learn in the presence of noise. Existing approaches for enforcing fairness in machine learning models have considered the centralized setting, in which the algorithm has access to the users' data. This paper introduces an algorithm to enforce group fairness in private federated learning, where users' data does not leave their devices. First, the paper extends the modified method of differential multipliers to empirical risk minimization with fairness constraints, thus providing an algorithm to enforce fairness in the central setting. Then, this algorithm is extended to the private federated learning setting. The proposed algorithm, FPFL, is tested on a federated version of the Adult dataset and an unfair version of the FEMNIST dataset. The experiments on these datasets show how private federated learning accentuates unfairness in the trained models, and how FPFL is able to mitigate such unfairness.

연구 동기 및 목표

• 차별적 개인정보 보호가 소수 집단의 모델 성능에 비례적으로 악영향을 미치는 개인 정보 보호 페더레이티드 학습 환경에서의 불공정성 문제를 해결하기 위해.
• 중앙 집중형 환경에서의 공정성 인지 최적화를 데이터가 로컬 장치에 유지되는 페더레이티드 학습 환경으로 확장하기 위해.
• 페더레이티드 훈련 과정에서 차별적 개인정보 보호를 유지하면서도 그룹 공정성을 강제하는 방법을 개발하기 위해.
• 실제 페더레이티드 데이터셋을 대상으로 차별적 개인정보 보호가 공정성에 미치는 영향과 제안된 솔루션의 효과를 경험적으로 평가하기 위해.

제안 방법

• 중앙 집중형 환경에서 공정성 제약 조건이 있는 경험적 리스크 최소화 문제를 해결하기 위해 수정된 승수법을 확장한다.
• 분산 최적화 프레임워크를 사용하여 중앙 집중형 공정성 제약 최적화를 페더레이티드 환경에 적응시킨다.
• 사용자 데이터의 기밀성을 보장하기 위해 페더레이티드 최적화 과정에 차별적 개인정보 보호를 통합한다.
• 분산적으로 라그랑주 승수를 통해 공정성 제약 조건을 강제하기 위해 이중 상승 방법을 사용한다.
• 차별적 개인정보 보호 보장을 확보하기 위해 모델 업데이트 중 기울기 값에 노이즈를 주입한다.
• 클라이언트가 로컬에서 훈련하고 서버에 업데이트된 모델 파라미터만 전송하는 로컬 업데이트 및 집계 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 페더레이티드 학습에서의 차별적 개인정보 보호는 소수 집단의 모델 성능에 어떤 영향을 미치는가?
• RQ2 데이터가 중앙집중화되지 않은 페더레이티드 학습 환경에서도 공정성 제약 조건을 효과적으로 강제할 수 있는가?
• RQ3 수정된 승수법은 분산 및 개인정보 보호 환경에서 공정성 제약 조건을 어떻게 통합할 수 있는가?
• RQ4 제안된 FPFL 알고리즘이 기존의 개인 정보 보호 페더레이티드 학습 대비 불공정성을 어느 정도 완화하는가?

주요 결과

• 차별적 개인정보 보호가 추가되는 것 때문에 개인 정보 보호 페더레이티드 학습 환경에서 소수 집단의 모델 성능 불공정성이 악화된다.
• 제안된 FPFL 알고리즘은 페더레이티드 Adult 및 불공정한 FEMNIST 데이터셋 모두에서 그룹 간 성능 격차를 효과적으로 줄였다.
• 표준 개인 정보 보호 페더레이티드 학습 대비 FPFL은 강력한 기밀성 보장을 유지하면서도 공정성 지표를 크게 향상시켰다.
• 특히 소수 집단에 유리하게, 인구 통계적 그룹 간 정확도 분포가 더 균형 잡히게 되었다.
• 경험적 결과에 따르면, FPFL은 평균 오차 차이 및 동등 기회와 같은 공정성 지표에서 비공정 기준 대비 뛰어난 성능을 보였다.