[논문 리뷰] E2FL: Equal and Equitable Federated Learning

Hamid Mozaffari, Amir Houmansadr|arXiv (Cornell University)|2022. 05. 20.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

E2FL은 랭크된 엣지 투표를 통해 다수의 글로벌 모델을 훈련하고 집계함으로써 개인 클라이언트 간의 동등성(균형 임계값)과 클라이언트 그룹 간의 공정성(공정한 성능)을 동시에 달성하는 새로운 피어드 학습 프레임워크를 제안한다. q-FFL 및 IFCA와 같은 기준 모델 대비 클라이언트 및 그룹 변동성을 각각 93%와 95% 감소시키며, 이중 마스크 교환을 통해 통신 비용을 낮춘다.

ABSTRACT

Federated Learning (FL) enables data owners to train a shared global model without sharing their private data. Unfortunately, FL is susceptible to an intrinsic fairness issue: due to heterogeneity in clients' data distributions, the final trained model can give disproportionate advantages across the participating clients. In this work, we present Equal and Equitable Federated Learning (E2FL) to produce fair federated learning models by preserving two main fairness properties, equity and equality, concurrently. We validate the efficiency and fairness of E2FL in different real-world FL applications, and show that E2FL outperforms existing baselines in terms of the resulting efficiency, fairness of different groups, and fairness among all individual clients.

연구 동기 및 목표

• 이질적인 클라이언트 데이터 분포로 인해 발생하는 피어드 학습 내재적 공정성 격차를 해결한다.
• 피어드 학습에서 사용자 수준의 공정성(등급)과 그룹 수준의 공정성(공정성)을 동시에 달성한다.
• 모든 클라이언트 그룹 간 지식 공유를 유지하면서 성능 격차를 최소화하는 효율적인 피어드 학습 알고리즘을 설계한다.
• 기존의 다중 모델 피어드 학습 접근 방식에 비해 공정성 또는 유틸리티를 희생시키지 않고 통신 오버헤드를 감소시킨다.

제안 방법

• 표준 기반의 기울기 기반 모델 집계를, 무작위로 초기화된 슈퍼넷에서 신경망 엣지 중요도의 랭킹 기반 집계로 대체한다.
• 그룹별 랭킹의 다수결 투표를 통해 공정성을 강화하여 각 그룹이 글로벌 모델에 동일한 영향을 미치도록 보장한다.
• 각 클라이언트가 자체 그룹별 글로벌 랭킹을 선택하여 후행 추론에 활용함으로써 클라이언트 수준의 동등성을 실현한다.
• 고정 노름 로컬 랭킹을 활용해 기여 영향의 균형을 확보함으로써 큰 파rameter 업데이트로 인한 편향을 방지한다.
• 세 가지 그룹 ID 추론 방법을 도입한다: 서버 측 랭킹 클러스터링, 클라이언트 측 손실 최소화, 기울기 기반 엔트로피 최적화(이진 탐색 및 OneShot).
• 전체 모델 가중치가 아닌 그룹 랭킹에서 파생된 이진 마스크만 교환하여 통신 비용을 62.0 MB(=IFCA)에서 5.99 MB로 감소시킨다.

실험 결과

연구 질문

• RQ1 피어드 학습 시스템이 개인 클라이언트 수준과 그룹 수준에서 동시에 공정성을 달성할 수 있는가?
• RQ2 다양한 클라이언트 그룹 간 지식 공유를 유지하면서 다수 그룹에 대한 편향을 피할 수 있는가?
• RQ3 피어드 학습에서 랭킹 기반 집계와 기울기 기반 집계 간의 통신 비용과 성능 트레이드오프는 어떠한가?
• RQ4 보호 속성(그룹 ID)이 알려지지 않은 상황에서 다양한 그룹 추론 전략의 효과는 어떠한가?
• RQ5 단일 모델 아키텍처가 공정한 그룹 성능과 동등한 개인 클라이언트 성능을 동시에 지원할 수 있는가?

주요 결과

• E2FL은 FedAvg 대비 클라이언트 성능 변동성을 93% 감소시키고 그룹 성능 변동성을 95% 감소시켜, q-FFL 및 IFCA를 크게 능가한다.
• FEMNIST 데이터셋에서 E2FL은 평균 정확도를 2.5% 향상시키며 클라이언트 변동성을 24% 감소시켰다. 이는 그룹 정체성이 알려지지 않은 상황에서도 성립한다.
• E2FL의 통신 비용은 라운드당 단지 5.99 MB이며, IFCA의 62.0 MB 대비 90% 감소했다. 이는 전체 모델 가중치 대신 이진 마스크를 교환하기 때문이다.
• q-FFL은 등급을 4% 향상시켰지만 공정성은 FedAvg 대비 81% 악화시켜, 공정성 차원 간의 상충 관계를 보여준다.
• 랭킹 클러스터링 및 최소 손실 기반 그룹 추론 방법이 OneShot 최적화보다 우수한 이유는 더 많은 반복적 정교화를 통해 그룹 소속을 개선하기 때문이다.
• q-FFL이 다수 그룹을 우선시하고 소수 그룹을 간과하는 것과는 달리, E2FL은 다수 및 소수 그룹 모두에서 높은 유틸리티와 공정성을 유지한다.