[논문 리뷰] Fairness and Accuracy in Federated Learning

Wei Huang, Tianrui Li외 3명|arXiv (Cornell University)|2020. 12. 18.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 36

한 줄 요약

이 논문은 FedFa를 제안하는데, 이중 모멘텀과 공정성 인식 가중치 전략을 갖춘 연합학습 알고리즘으로 이질적인 클라이언트 간 수렴 속도와 공정성을 모두 향상시킨다.

ABSTRACT

In the federated learning setting, multiple clients jointly train a model under the coordination of the central server, while the training data is kept on the client to ensure privacy. Normally, inconsistent distribution of data across different devices in a federated network and limited communication bandwidth between end devices impose both statistical heterogeneity and expensive communication as major challenges for federated learning. This paper proposes an algorithm to achieve more fairness and accuracy in federated learning (FedFa). It introduces an optimization scheme that employs a double momentum gradient, thereby accelerating the convergence rate of the model. An appropriate weight selection algorithm that combines the information quantity of training accuracy and training frequency to measure the weights is proposed. This procedure assists in addressing the issue of unfairness in federated learning due to preferences for certain clients. Our results show that the proposed FedFa algorithm outperforms the baseline algorithm in terms of accuracy and fairness.

연구 동기 및 목표

• 데이터 이질성과 제한된 통신 하에서 연합학습의 공정성 및 정확도 문제를 동기 부여하고 해결한다.
• 클라이언트 및 서버 축의 수렴 속도를 가속화하기 위한 이중 모멘텀 그래디언트 프레임워크를 도입한다.
• 집계 과정에서 불공정성을 줄이기 위해 정보량 기반의 가중치 전략을 개발한다.
• 합성 및 실제 연합 데이터 세트에서 벤치마크 대비 평가해 FedFa를 공정성 및 정확성 향상으로 입증한다.

제안 방법

• 클라이언트 및 서버 측 모두에 이중 모멘텀 그래디언트 하강법을 도입하여 수렴 속도를 높이고 통신 라운드를 줄인다.
• 서버 측 모멘텀은 이전 전역 모델 간 차이인 근사 글로벌 그래디언트를 매 b 라운드마다 업데이트하여 과거 그래디언트를 반영한다.
• 클라이언트 측 모멘텀은 로컬 모델 업데이트에 표준 모멘텀을 적용한다.
• 정규화된 정보량(Acc_inf)과 참여 빈도(f_inf)에서 파생된 정보를 결합한 가중치 전략을 제안하여 집계를 계산한다.
• Acc_inf = -log2(Acc) (0을 다루기 위한 작은 상수 포함) and f_inf = -log2(1-f) (작은 상수 포함), 각각 정규화하고 weight_i = alpha * Acc_inf + beta * f_inf (alpha + beta = 1)로 형성한다.
• 가중치_i를 사용해 업데이트를 모으고, 그 후 글로벌 모델에 서버 모멘텀을 적용한다.

실험 결과

연구 질문

• RQ1 FedFa가 FedAvg 및 FedProx 대비 비 IID 및 대규모 연합 네트워크에서 수렴 속도와 안정성을 향상시킬 수 있는가?
• RQ2 정확도와 참여 빈도 기반 가중치를 통합하면 전체 정확도를 유지하거나 향상시키면서 클라이언트 간의 공정성 관련 격차를 줄일 수 있는가?

주요 결과

데이터셋	방법	평균	최악 20%	최상 20%	분산
Synthetic_iid	FedAvg	89.11%	78.17%	100.00%	68.04
Synthetic_iid	FedProx	71.92%	55.46%	86.09%	129.09
Synthetic_iid	FedFa	85.70%	71.46%	100.00%	98.74
Synthetic_0_0	FedAvg	54.67%	6.81%	98.18%	1112.46
Synthetic_0_0	FedProx	75.02%	37.21%	100.00%	611.10
Synthetic_0_0	FedFa	78.25%	43.41%	100.00%	530.27
Synthetic_0.5_0.5	FedAvg	40.24%	0.00%	98.18%	1448.46
Synthetic_0.5_0.5	FedProx	67.84%	33.60%	100.00%	618.00
Synthetic_0.5_0.5	FedFa	73.30%	41.27%	100.00%	464.81
Synthetic_1_1	FedAvg	54.78%	1.38%	96.85%	1069.37
Synthetic_1_1	FedProx	64.75%	9.72%	100.00%	1088.87
Synthetic_1_1	FedFa	76.88%	37.03%	100.00%	603.69
Femnist	FedAvg	70.96%	34.77%	100.00%	567.75
Femnist	FedProx	72.20%	40.50%	100.00%	449.83
Femnist	FedFa	77.96%	48.99%	100.00%	368.93
Sent140	FedAvg	68.51%	40.58%	93.22%	356.48
Sent140	FedProx	64.71%	34.02%	92.65%	431.89
Sent140	FedFa	68.83%	42.66%	95.71%	319.04

• FedFa는 IID 및 비 IID 합성 데이터 세트와 실제 데이터 세트 모두에서 FedAvg 및 FedProx보다 더 빠르고 더 안정적으로 수렴한다.
• 클라이언트 및 서버 측의 이중 모멘텀은 이질성 처리가 개선되고 글로벌 수렴을 가속시킨다.
• 제안된 가중치 전략은 최종 정확도 분산을 축소하고 대부분의 비 IID 설정에서 최악-상위 20%의 정확도를 향상시킨다.
• 정보 다양성이 증가하는 합성 데이터 세트에서 FedFa는 베이스라인보다 더 높은 평균 정확도와 더 낮은 분산을 보인다(구체 수치는 데이터 세트에 따라 다름).
• 실제 데이터 세트(MNIST, FEMNIST, Shakespeare, Sent140)에서 FedFa는 수렴 동작 및 공정성 지표에서 베이스라인보다 우수하며 여러 경우에서 최악-케이스 및 전반적 성능이 향상된다.