[논문 리뷰] PrivFairFL: Privacy-Preserving Group Fairness in Federated Learning

Sikha Pentyala, Nicola Neophytou외 3명|arXiv (Cornell University)|2022. 05. 23.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

PrivFairFL는 민감한 속성 통계의 기밀 보장된 집계를 가능하게 하면서 원천적 클라이언트 데이터 폭 lộ 없이 교차 장치 피어드 페더레이티드 러닝에서 그룹 공정성 기반 기계 학습 모델을 훈련하기 위한 새로운 프레임워크를 제안한다. 이는 보안 다자간 계산(MPC)과 차별적 비밀리성(DP)을 융합하여 구현되며, 최소한의 유틸리티 손실로 최신 기술 수준의 공정성을 달성한다. 국소 DP 기반 기준 대비 공정성과 모델 정확도 양면에서 뛰어난 성능을 보인다.

ABSTRACT

Group fairness ensures that the outcome of machine learning (ML) based decision making systems are not biased towards a certain group of people defined by a sensitive attribute such as gender or ethnicity. Achieving group fairness in Federated Learning (FL) is challenging because mitigating bias inherently requires using the sensitive attribute values of all clients, while FL is aimed precisely at protecting privacy by not giving access to the clients' data. As we show in this paper, this conflict between fairness and privacy in FL can be resolved by combining FL with Secure Multiparty Computation (MPC) and Differential Privacy (DP). In doing so, we propose a method for training group-fair ML models in cross-device FL under complete and formal privacy guarantees, without requiring the clients to disclose their sensitive attribute values.

연구 동기 및 목표

• 페더레이티드 러닝에서 공정성 요구사항이 민감한 속성에 접근을 필요로 하는 반면, 데이터 기밀 보장이 이를 금지하는 갈등을 해결하기 위해.
• 개별 클라이언트의 민감한 속성 값 폭로 없이 교차 장치 FL 환경에서 공정한 모델을 훈련시킬 수 있는 솔루션을 설계하기 위해.
• MPC와 DP의 조합을 통해 공식적인 기밀 보장 보장을 제공하여 원천 데이터나 집계 통계 유출을 방지하기 위해.
• 기존 국소 DP 기반의 공정성 접근 방식이 자주 겪는 정확도 저하 문제를 해결하고, 유틸리티 측면에서 향상된 성능을 제공하기 위해.
• 실제 페더레이티드 러닝 환경에서의 실현 가능성과 확장성을 실세계 데이터셋 기반으로 입증하기 위해.

제안 방법

• 프레임워크는 클라이언트 간 레이블 및 민감한 속성 분포 통계를 개인 데이터 폴드 없이 안전하게 계산하고 집계하기 위해 MPC 프로토콜을 사용한다.
• 차별적 비밀리성(DP)을 위한 라플라스 노이즈 생성을 MPC 기반의 안전한 계산으로 구현하여, 원천적 캘리브레이터 역할을 수행하면서도 원천 데이터 폭로 없이 운영한다.
• 두 가지 구성 요소를 도입한다: MPC 기반의 기밀 보장 데이터 재가중 처리를 위한 PrivFairFL-Pre, 그리고 MPC 보호된 공정성 지표를 활용한 공정한 임계값 조정을 위한 PrivFairFL-Post.
• 클라이언트 업데이트와 집계 통계를 모두 MPC와 DP로 보호함으로써 엔드 투 엔드 기밀 보장을 확보하며, 신뢰할 수 없는 중심 집계자 없이 운영된다.
• MPC 프로토콜은 SPDZ 및 Replicated2k와 같은 보안 다자간 계산 프레임워크를 활용하여, 정직한 다수 및 비정직한 다수 설정 모두를 지원한다.
• 표준 페더레이티드 러닝 훈련 파이프라인과 통합되며, 안전한 집계 이후에 공정성 인식 재가중 또는 임계값 조정을 적용한다.

실험 결과

연구 질문

• RQ1 교차 장치 페더레이티드 러닝에서 클라이언트 데이터 기밀 보장 없이 그룹 공정성을 달성할 수 있는가?
• RQ2 MPC와 DP를 효과적으로 융합하여 공식적인 기밀 보장을 제공하면서도 페더레이티드 러닝에서 공정한 모델 훈련을 가능하게 할 수 있는가?
• RQ3 PrivFairFL의 유틸리티는 기존 국소 DP 기반의 공정성 방법 대비 정확도 및 공정성 지표 측면에서 어떻게 비교되는가?
• RQ4 클라이언트 수와 컴퓨팅 당사자 수의 변화에 따라 MPC 기반 공정성 프레임워크의 계산 확장성은 어떠한가?
• RQ5 제안된 MPC+DP 접근 방식은 기존 기준 대비 공정성-유틸리티 트레이드오프를 줄이는가?

주요 결과

• ADS 데이터셋에서 PrivFairFL-Post는 민감성 평등성 차이(ΔSP) 0.001과 동등 기회 차이(ΔEODD) 0.005를 기록하여 다른 방법들보다 뚜렷이 뛰어난 공정성 성능를 달성했다.
• ML-1M 데이터셋에서 PrivFairFL-Post는 공정성 격차(|1 - DI|) 0.006을 기록하여 모든 방법 중에서 가장 낮았으며, 낮은 역할 차이를 나타내었다.
• ADS 데이터셋에서 PrivFairFL-Post의 모델 정확도는 85.17%에 도달하여 FL-DP-SGD 기준(83.52%)을 초월했으며, 비기밀 중앙집중식 학습 성능(85.81%)과도 유사한 성능을 보였다.
• PrivFairFL-Pre는 ADS에서 공정성 격차(|1 - DI|) 0.122, ML-1M에서 0.045를 기록하여 낮은 정확도 손실로 효과적인 편향 완화를 달성했다.
• 75~109명의 클라이언트에서 효과적으로 확장되며, 3PC 정직 다수 설정에서 PrivFairFL-Post의 런타임이 10분 이내로 유지되어 실용적 구현 가능성을 입증했다.
• PrivFairFL는 국소 DP 기준(Abay et al., 2020)보다 공정성과 유틸리티 양면에서 뛰어나며, 공정성 격차를 줄이고도 더 높은 모델 정확도를 유지한다.