[논문 리뷰] FOCUS: Fairness via Agent-Awareness for Federated Learning on Heterogeneous Data

Wenda Chu, Chulin Xie외 6명|arXiv (Cornell University)|2022. 07. 21.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 클러스터링 기반 모델 개인화를 통해 에이전트 수준의 데이터 이질성을 명시적으로 모델링함으로써 공정성을 향상시키는 페더레이티드 러닝 알고리즘 FOCUS를 제안한다. 새로운 공정성 메트릭인 에이전트 인식 기반 공정성(FAA)을 도입하여 고성능 데이터 기여자가 저성능 에이전트의 영향을 받아 손해를 보지 않도록 보장하며, FedAvg에 비해 유의미하게 높은 공정성을 달성하면서도 다양한 데이터셋에서 경쟁적인 정확도를 유지한다.

ABSTRACT

Federated learning (FL) allows agents to jointly train a global model without sharing their local data. However, due to the heterogeneous nature of local data, it is challenging to optimize or even define fairness of the trained global model for the agents. For instance, existing work usually considers accuracy equity as fairness for different agents in FL, which is limited, especially under the heterogeneous setting, since it is intuitively "unfair" to enforce agents with high-quality data to achieve similar accuracy to those who contribute low-quality data, which may discourage the agents from participating in FL. In this work, we propose a formal FL fairness definition, fairness via agent-awareness (FAA), which takes different contributions of heterogeneous agents into account. Under FAA, the performance of agents with high-quality data will not be sacrificed just due to the existence of large amounts of agents with low-quality data. In addition, we propose a fair FL training algorithm based on agent clustering (FOCUS) to achieve fairness in FL measured by FAA. Theoretically, we prove the convergence and optimality of FOCUS under mild conditions for linear and general convex loss functions with bounded smoothness. We also prove that FOCUS always achieves higher fairness in terms of FAA compared with standard FedAvg under both linear and general convex loss functions. Empirically, we show that on four FL datasets, including synthetic data, images, and texts, FOCUS achieves significantly higher fairness in terms of FAA while maintaining competitive prediction accuracy compared with FedAvg and state-of-the-art fair FL algorithms.

연구 동기 및 목표

• 에이전트 간 데이터 품질의 이질성을 고려한 강건한 공정성 정의가 부족한 페더레이티드 러닝 문제를 해결하기 위해.
• 글로벌 모델 집합 과정에서 저성능 데이터로 인해 고성능 데이터 기여자가 손해를 보는 것을 방지하기 위해.
• 모델 정확도를 희생시키지 않으면서 더 강력한 공정성을 달성하는 학습 알고리즘을 설계하기 위해.
• 에이전트 간 성능 향상(초과 리스크 감소)의 공정성을 측정할 수 있는 공정성 메트릭인 FAA를 체계화하기 위해.

제안 방법

• 초과 리스크 차이를 기반으로 한 새로운 공정성 메트릭인 에이전트 인식 기반 공정성(FAA)을 제안한다.
• 에이전트의 데이터 분포 유사성에 따라 그룹화하고, 각 클러스터 별로 별도의 모델을 훈련하는 클러스터링 기반 FL 알고리즘인 FOCUS를 도입한다.
• 추론 시 클러스터별 모델의 가중 평균을 사용하여 공정성과 유틸리티를 향상시킨다.
• 선형 및 일반 볼록 손실 함수에 대해 온건한 조건 하에 FOCUS의 수렴성과 최적성에 대한 이론적 증명을 수행한다.
• 선형 및 볼록 설정 하에서 FOCUS가 FedAvg보다 더 높은 FAA를 달성함을 입증한다.
• 합성, 이미지, 텍스트 데이터 총 4개의 데이터셋에서 FOCUS의 실증적 검증을 통해 높은 공정성과 경쟁 가능한 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 에이전트 간 이질적인 데이터 품질을 고려한 페더레이티드 러닝의 강건한 공정성 정의는 무엇인가?
• RQ2 고성능 데이터 기여자의 성능이 저하되지 않도록 하면서 공정성을 어떻게 향상시킬 수 있는가?
• RQ3 이질적 데이터 하에서 클러스터링 기반 접근 방식이 기존 FedAvg보다 더 높은 공정성을 달성할 수 있는가?
• RQ4 이러한 프레임워크에서 공정성과 수렴성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 공정성과 정확도 측면에서 FOCUS는 최신 기술의 공정한 FL 알고리즘보다 어떻게 비교되는가?

주요 결과

• FOCUS는 네 가지 다양한 데이터셋에서 FedAvg 및 최신 기술의 공정한 FL 알고리즘에 비해 FAA 기준으로 유의미하게 높은 공정성을 달성한다.
• 이론적 분석을 통해 FOCUS가 온건한 조건 하에 최적의 클러스터 솔루션에 지수적으로 가까운 정적 점으로 수렴함을 증명한다.
• FOCUS는 고성능 데이터 기여자가 저성능 데이터 기여자의 영향을 받아 성능 저하를 겪지 않도록 보장한다.
• FAA로 측정된 공정성 향상과 함께 경쟁적인 예측 정확도를 유지한다.
• 실증 결과는 이질적 데이터 환경 하에서 합성, 이미지, 텍스트 데이터셋 전반에 걸쳐 일관된 공정성 향상이 이루어짐을 보여준다.
• 이론적 경계는 FOCUS가 특히 고도의 이질성 환경에서 FedAvg보다 공정성 분산을 더 효과적으로 감소시킴을 확인한다.