[논문 리뷰] Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning

Zhida Jiang, Yang Xu외 3명|arXiv (Cornell University)|2022. 12. 19.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 통신 효율성과 수렴 속도를 향상시키기 위해 적응형 클라이언트 선택과 동적 그래디언트 압축을 공동으로 최적화하는 이질성 인지형 페더레이티드 러닝 프레임워크인 FedCG를 제안한다. 서브모듈라 최적화와 선형 프로그래밍을 활용하여, 정확도를 희생시키지 않은 채 동적이고 이질적인 환경에서 기존 기준 대비 최대 5.3배의 속도 향상을 달성한다.

ABSTRACT

Federated learning (FL) allows multiple clients cooperatively train models without disclosing local data. However, the existing works fail to address all these practical concerns in FL: limited communication resources, dynamic network conditions and heterogeneous client properties, which slow down the convergence of FL. To tackle the above challenges, we propose a heterogeneity-aware FL framework, called FedCG, with adaptive client selection and gradient compression. Specifically, the parameter server (PS) selects a representative client subset considering statistical heterogeneity and sends the global model to them. After local training, these selected clients upload compressed model updates matching their capabilities to the PS for aggregation, which significantly alleviates the communication load and mitigates the straggler effect. We theoretically analyze the impact of both client selection and gradient compression on convergence performance. Guided by the derived convergence rate, we develop an iteration-based algorithm to jointly optimize client selection and compression ratio decision using submodular maximization and linear programming. Extensive experiments on both real-world prototypes and simulations show that FedCG can provide up to 5.3$ imes$ speedup compared to other methods.

연구 동기 및 목표

• 통신 효율성, 네트워크 동적 변화, 클라이언트 이질성 등을 공동으로 고려하지 못하는 기존 페더레이티드 러닝 방법의 한계를 해결한다.
• 대역폭 제한과 변동하는 클라이언트 성능 등의 실세계 제약 조건 하에서 수렴 속도를 향상시키고 학습 시간을 단축시킨다.
• 시간에 따라 변화하는 클라이언트 성능과 데이터 이질성에 기반해 대표성 있는 클라이언트를 적응적으로 선택하고 최적의 압축 비율을 할당하는 프레임워크를 개발한다.
• 다양한 클라이언트 선택을 통해 비독립적 데이터(Non-IID)에서 발생하는 편향을 완화함으로써 공정성과 모델 품질을 확보한다.
• 독립적 또는 단순 조합 전략보다 우수한 성능을 내는, 클라이언트 선택과 압축 비율의 공동 최적화 전략을 설계한다.

제안 방법

• 서브모듈라 최적화를 활용해 상호 간의 중복을 최소화하고 수렴을 향상시키기 위해 대표성 있는 그래디언트 정보를 제공하는 다양한 클라이언트의 부분집합을 선택한다.
• 각 클라이언트의 개별 계산 및 통신 능력을 기반으로 최적의 압축 비율을 결정하기 위해 선형 프로그래밍을 적용한다.
• 시간에 따라 변화하는 네트워크 조건과 클라이언트 이질성에 대응하기 위해 매 학습 라운드마다 클라이언트 선택과 압축 비율을 동적으로 조정한다.
• 이론적 수렴 속도 분석에 따라 이탈자 효과와 데이터 편향을 완화하는 통합적인 반복 기반 최적화 프레임워크 내에서 클라이언트 선택과 그래디언트 압축 결정을 통합한다.
• 매개변수 서버에서 압축된 모델 업데이트를 집계하여 다음 글로벌 모델을 구성함으로써 정확도를 유지하면서도 통신 오버헤드를 줄인다.
• 수렴 속도, 통신 비용, 모델 품질을 균형 있게 고려하는 제약 조건이 있는 최대화 문제로 공동 최적화 문제를 수립한다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝 환경에서 통신 효율성과 수렴 속도를 향상시키기 위해 클라이언트 선택과 그래디언트 압축을 어떻게 공동으로 최적화할 수 있는가?
• RQ2 적응형 클라이언트 선택과 가변 압축 비율이 페더레이티드 러닝의 수렴 속도에 미치는 이론적 영향은 무엇인가?
• RQ3 동적이고 이질적인 환경에서 클라이언트 선택과 압축의 공동 최적화는 독립적 또는 단순 조합 전략보다 어떻게 우월한가?
• RQ4 적응형 클라이언트 선택과 압축은 비독립적 데이터 설정에서 얼마나 많은 통신 부하를 줄일 수 있으며, 정확도는 유지할 수 있는가?
• RQ5 제안된 프레임워크는 변화하는 클라이언트 성능과 네트워크 조건에 동적으로 대응하여 고정 비율 또는 정적 선택 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• FedCG는 대규모 페더레이티드 러닝 환경에서 FedAvg, OptRate, FlexCom, AdaSample 등의 기준 기반 방법 대비 최대 5.3배의 속도 향상을 달성한다.
• AlexNet을 사용한 CIFAR-10에서 FedCG는 5,170초 만에 70%의 정확도를 달성했으며, 이는 FedAvg의 22,009초 대비 4.3배의 속도 향상이다.
• 선택된 클라이언트 수가 다양할 경우 기준 기반 방법 대비 네트워크 트래픽 소비를 11.2~82.4% 감소시킨다.
• 공동 최적화 알고리즘은 최대 1.2초의 결정 오버헤드만 유발하며, 이는 학습 및 전송 시간에 비해 무시할 만큼 작다.
• CIFAR-10에서 AlexNet에 대해 FedCG는 독립적 결정 및 단순 조합 방법 대비 1.4~4.1배 빠르게 수렴하며, CIFAR-100에서 ResNet9에 대해서는 1.5~4.5배 빠르게 수렴한다.
• 이론적 분석을 통해 클라이언트 선택과 압축 비율의 공동 최적화가 이탈자 효과와 데이터 편향을 완화함으로써 수렴 성능을 크게 향상시킨다는 것이 확인되었다.