[논문 리뷰] Accurate and Fast Federated Learning via Combinatorial Multi-Armed Bandits

Taehyeon Kim, Sangmin Bae외 2명|arXiv (Cornell University)|2020. 12. 06.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 5

한 줄 요약

이 논문은 조합적 모델 평균화를 통해 편향된 모델을 걸러내고, 다중 손실 기반 클라이언트 샘플링을 통해 이전 지식을 활용함으로써 정확도와 수렴 속도를 향상시키는 새로운 피어드 학습 프레임워크인 FedCM을 제안한다. 이는 비균일한(non-IID) 데이터셋에서 최신 기술 대비 최대 37.25% 높은 테스트 정확도와 4.17배 빠른 수렴 속도를 달성한다.

ABSTRACT

Federated learning has emerged as an innovative paradigm of collaborative machine learning. Unlike conventional machine learning, a global model is collaboratively learned while data remains distributed over a tremendous number of client devices, thus not compromising user privacy. However, several challenges still remain despite its glowing popularity; above all, the global aggregation in federated learning involves the challenge of biased model averaging and lack of prior knowledge in client sampling, which, in turn, leads to high generalization error and slow convergence rate, respectively. In this work, we propose a novel algorithm called FedCM that addresses the two challenges by utilizing prior knowledge with multi-armed bandit based client sampling and filtering biased models with combinatorial model averaging. Based on extensive evaluations using various algorithms and representative heterogeneous datasets, we showed that FedCM significantly outperformed the state-of-the-art algorithms by up to 37.25% and 4.17 times, respectively, in terms of generalization accuracy and convergence rate.

연구 동기 및 목표

• 비균일한 피어드 학습 환경에서 편향된 모델 평균화로 인한 일반화 오차 증가 문제를 해결한다.
• 클라이언트 샘플링 시 이전 지식의 부족으로 인한 수렴 속도 저하와 열악한 국소 최적해 도달 문제를 해결한다.
• 지식 기반 클라이언트 샘플링과 필터링된 모델 평균화를 통합한 통합 시스템 수준의 프레임워크를 개발하여 피어드 학습 성능을 향상시킨다.
• 조합 최적화와 다중 손실 기반 기반의 적응형 클라이언트 선택 및 모델 집계를 가능하게 하는 확장 가능한 아키텍처를 제공한다.

제안 방법

• 일반화 오차를 최소화하기 위해 검증 점수를 기반으로 최적의 클라이언트 모델 하위집합을 선택하는 조합적 모델 평균화 방법인 FedCA를 제안한다.
• 이전 성능에 기반해 동적으로 클라이언트를 선택하기 위해 상한 신뢰도(UCB)와 톰슨 샘플링을 사용하는 MAB 기반 클라이언트 샘플링을 도입한다.
• 보상이 이전 라운드에서 클라이언트가 최적의 하위집합에 포함되었는지를 기반으로 하는 조합적 다중 손실 기반 기반 문제로 클라이언트 선택을 모델링한다.
• 클라이언트 선택 확률을 베타 분포로 모델링하고 이전 라운드의 관측된 보상을 통해 신뢰도를 업데이트한다.
• MAB 샘플링과 FedCA 필터링을 통합하여 클라이언트 선택과 모델 집계를 종단 간 최적화하는 데 사용되는 통합 알고리즘인 FedCM을 개발한다.
• 사용자 정의된 이전 지식 및 모델 필터링 기준을 지원하는 시스템 수준의 프레임워크를 정의한다.

실험 결과

연구 질문

• RQ1 편향된 모델을 걸러내기 위해 조합적 모델 평균화를 적용할 경우, 비균일한 피어드 학습 환경에서 일반화 오차를 상당히 줄일 수 있는가?
• RQ2 클라이언트 성능에 대한 이전 지식을 활용하는 MAB 기반 클라이언트 샘플링이 수렴 속도 향상에 기여하는가?
• RQ3 조합적 평균화와 MAB 기반 샘플링을 결합할 경우, 기존 피어드 학습 기법보다 상호 보완적인 성능 향상을 이룰 수 있는가?
• RQ4 FedCM의 성능 향상은 다양한 데이터 이질성 수준과 점수 함수 설정에서 어떻게 달라지는가?

주요 결과

• FedCM은 클래스 이질성이 있는 비균일한 데이터셋에서 최신 기술 대비 최대 37.25% 높은 테스트 정확도를 확보했다.
• 모든 평가 설정에서 FedAvg와 FedProx 대비 FedCM의 수렴 속도가 최대 4.17배 빠르게 나타났다.
• FedCA의 조합적 평균화 구성 요소만으로도 기준 방법 대비 일반화 정확도를 최대 16.75% 향상시켰다.
• 모든 테스트된 데이터 이질성 수준과 점수 함수 설정에서 FedCM-UCB와 FedCM-TS는 FedAvg, FedProx, FedPdp를 모두 초월하여 정확도와 수렴 속도에서 뛰어난 성능을 보였다.
• 성능 향상은 초기 단계를 포함한 전체 학습 과정에서 일관되게 유지되어 제안된 방법의 견고성과 안정성을 입증했다.
• MAB를 통한 이전 지식 통합과 조합 최적화 기반의 모델 필터링이 각각 독립적으로 적용하는 것보다 더 큰 상호 보완 효과를 나타냈다.