[논문 리뷰] FedGroup: Ternary Cosine Similarity-based Clustered Federated Learning Framework toward High Accuracy in Heterogeneous Data.

Moming Duan, Duo Liu외 5명|arXiv (Cornell University)|2020. 10. 14.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

FedGroup는 비독립적 동일성(non-IID) 및 불균형 데이터 설정에서 최적화 방향의 삼항 코사인 유사도 기반으로 클라이언트를 군집화함으로써 모델 정확도를 향상시키는 새로운 피어드 학습 프레임워크이다. 하위 최적화를 수행하고 FedProx와 통합함으로써, FedAvg와 비교해 FEMNIST에서 +14.7%의 절대 테스트 정확도 향상을, FedProx와 비교해 Sentiment140에서 +5.4%의 절대 테스트 정확도 향상을 달성한다.

ABSTRACT

Federated Learning (FL) enables the multiple participating devices to collaboratively contribute to a global neural network model while keeping the training data locally. Unlike the centralized training setting, the non-IID and imbalanced (statistical heterogeneity) training data of FL is distributed in the federated network, which will increase the divergences between the local models and global model and further degrade the performance. In this paper, we propose a novel federated learning framework FedGroup based on a similarity-based clustering strategy, in which we 1) group the training of clients based on the similarities between the clients' optimize directions; 2) reduce the complexity of high-dimension low-sample size (HDLSS) parameter updates data clustering by decomposing the direction vectors to derive the ternary cosine similarity. FedGroup can achieve improvements by dividing joint optimization into groups of sub-optimization, and can be combined with FedProx, the state-of-the-art federated optimization algorithm. We evaluate FedGroup and FedGrouProx (combined with FedProx) on several open datasets. The experimental results show that our proposed frameworks significantly improving absolute test accuracy by +14.7% on FEMNIST compared to FedAvg, +5.4% on Sentiment140 compared to FedProx.

연구 동기 및 목표

• 비독립적 동일성(non-IID) 및 불균형 데이터로 인해 글로벌 모델 성능이 저하되는 피어드 학습의 통계적 이질성 문제를 해결한다.
• 유사한 최적화 방향을 가진 클라이언트를 군집화하여 국소 모델과 글로벌 모델 간의 발산을 줄인다.
• 고차원, 소표본 크기의 파rameter 업데이트 군집화에서 차원 감소를 통해 계산 복잡도를 낮춘다.
• 클라이언트 간 데이터 공유 없이도 피어드 학습의 테스트 정확도를 향상시킨다.
• FedProx와 같은 기존 최첨단 알고리즘과의 호환성을 제공하여 성능 향상을 이룬다.

제안 방법

• 최적화 방향 벡터의 코사인 유사도를 기반으로 클라이언트를 군집화하여 유사한 학습 역학을 가진 그룹을 형성한다.
• 방향 벡터를 분해하여 삼항 코사인 유사도 측정법을 도입함으로써 차원 감소와 계산 비용 절감을 달성한다.
• 각 군집 내에서 글로벌 모델에서의 발산을 최소화하도록 공동 최적화를 수행한다.
• 고차원 파rameter 업데이트를 저차원 구성요소로 분해하여 HDLSS 환경에서의 군집화를 단순화한다.
• FedGroup을 FedProx와 통합하여 FedGrouProx를 구성함으로써 군집화의 이점과 근접 정규화를 결합한다.
• 클라이언트 군집화를 통해 하위 최적화를 가능하게 하여 글로벌 모델 수렴의 총 계산 복잡도를 낮춘다.

실험 결과

연구 질문

• RQ1 최적화 방향 유사도 기반 클라이언트 군집화가 데이터 이질성 하에서 피어드 학습 성능 향상에 기여하는가?
• RQ2 삼항 코사인 유사도는 고차원, 소표본 크기의 파rameter 업데이트 군집화에서 계산 복잡도를 어떻게 감소시키는가?
• RQ3 FedAvg와 FedProx에 비해 FedGroup이 비독립적 동일성 데이터셋에서 테스트 정확도를 얼마나 향상시키는가?
• RQ4 FedGroup을 FedProx와 통합함으로써 통계적 이질성 문제를 다루는 데 얼마나 효과적인가?
• RQ5 유사도 기반 군집화를 통한 클라이언트 군집화가 국소 모델과 글로벌 모델 간의 발산을 줄이는 데 얼마나 효과적인가?

주요 결과

• FedGroup은 FedAvg에 비해 FEMNIST 데이터셋에서 +14.7%의 절대 테스트 정확도 향상을 달성한다.
• FedProx와 통합된 FedGrouProx 버전은 FedProx에 비해 Sentiment140 데이터셋에서 +5.4%의 절대 테스트 정확도 향상을 달성한다.
• 삼항 코사인 유사도 방법은 고차원 파arameter 업데이트 군집화의 계산 복잡도를 효과적으로 감소시킨다.
• 최적화 방향 유사도 기반 클라이언트 군집화는 이질적 데이터 환경에서 국소 모델과 글로벌 모델 간의 발산을 크게 줄인다.
• FedGroup은 데이터 공유 없이도 높은 성능을 유지하며, 피어드 학습에서 프라이버시를 보존한다.
• 이 프레임워크는 FedProx와 같은 기존 피어드 최적화 알고리즘과 호환되어 아키텍처의 대대적 개편 없이도 성능 향상을 이룬다.