[논문 리뷰] Joint Device Scheduling and Resource Allocation for Latency Constrained Wireless Federated Learning

Wenqi Shi, Sheng Zhou외 3명|arXiv (Cornell University)|2020. 07. 14.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 13

한 줄 요약

이 논문은 고정된 훈련 시간 예산 내에서 모델 정확도를 최대화하기 위해 지연 시간 제약이 있는 무선 피어드 페더레이티드 러닝을 위한 동시 장치 스케줄링 및 자원 할당 프레임워크를 제안한다. 훈련 손실의 역수에 대한 하한을 유도하고 문제를 최적의 대역폭 할당과 탐욕적 장치 선택으로 분해함으로써, 더 나쁜 채널 조건 또는 더 약한 계산 능력을 가진 장치를 우선시함으로써 다양한 네트워크 설정에서 최신 기술 대비 뛰어난 수렴 성능을 달성한다.

ABSTRACT

In federated learning (FL), devices contribute to the global training by uploading their local model updates via wireless channels. Due to limited computation and communication resources, device scheduling is crucial to the convergence rate of FL. In this paper, we propose a joint device scheduling and resource allocation policy to maximize the model accuracy within a given total training time budget for latency constrained wireless FL. A lower bound on the reciprocal of the training performance loss, in terms of the number of training rounds and the number of scheduled devices per round, is derived. Based on the bound, the accuracy maximization problem is solved by decoupling it into two sub-problems. First, given the scheduled devices, the optimal bandwidth allocation suggests allocating more bandwidth to the devices with worse channel conditions or weaker computation capabilities. Then, a greedy device scheduling algorithm is introduced, which in each step selects the device consuming the least updating time obtained by the optimal bandwidth allocation, until the lower bound begins to increase, meaning that scheduling more devices will degrade the model accuracy. Experiments show that the proposed policy outperforms state-of-the-art scheduling policies under extensive settings of data distributions and cell radius.

연구 동기 및 목표

• 제한된 스펙트럼과 기기 이질성으로 인해 라운드당 훈련 지연 시간과 수렴 속도 사이의 상충 관계를 해결하기 위해.
• 고정된 총 훈련 시간 예산 내에서 장치 스케줄링과 자원 할당을 공동 최적화하여 모델 정확도를 극대화하기 위해.
• 변동하는 무선 조건, 즉 다양한 채널 품질과 기기 계산 능력을 고려하기 위해.
• 최적의 대역폭 할당 하에 업데이트 시간을 최소화하는 기기를 우선순위로 삼음으로써 스트래글러 효과를 줄이기 위해.
• 다양한 데이터 분포와 세포 반경에 대해 기존 스케줄링 전략을 능가하는 확장성 있고 적응 가능한 정책을 개발하기 위해.

제안 방법

• 각 라운드에 할당된 훈련 라운드 수와 스케줄된 장치 수를 바탕으로 훈련 성능 손실의 역수에 대한 하한을 유도한다.
• 정확도 극대화 문제를 두 개의 하위 문제로 분해한다: 최적의 대역폭 할당과 탐욕적 장치 스케줄링.
• 업데이트 시간을 최소화하기 위해 채널 조건이 열악하거나 계산 능력이 떨어지는 기기에 더 많은 대역폭을 할당해야 한다고 제안한다.
• 각 반복에서 최적의 대역폭 할당 하에 업데이트 시간이 가장 짧은 기기를 선택하는 탐욕적 장치 스케줄링 알고리즘을 도입한다.
• 손실의 하한이 증가하기 시작함에 따라 정확도 향상의 한계에 도달함을 감안해 추가 장치 스케줄링을 중단한다.
• 이론적 분석과 기대값 경계를 사용하여 비독립 동일 분포(NIID) 데이터와 이질적인 기기 능력 하에서의 수렴 보장을 도출한다.

실험 결과

연구 질문

• RQ1 지연 시간 제약이 있는 무선 피어드 페더레이티드 러닝에서 모델 정확도를 극대화하기 위해 장치 스케줄링과 자원 할당을 어떻게 동시 최적화할 수 있는가?
• RQ2 더 많은 장치를 스케줄링하면 라운드당 지연 시간과 수렴 속도 사이의 상충 관계에 어떤 영향을 미치는가?
• RQ3 업데이트 시간의 최대값을 최소화하고 스트래글러 효과를 줄이기 위해 스케줄된 장치들 사이에 대역폭을 어떻게 할당해야 하는가?
• RQ4 라운드당 수렴 속도가 빠르더라도 추가 장치 스케줄링이 모델 정확도를 떨어뜨리는 조건는 무엇인가?
• RQ5 제안된 정책은 다양한 데이터 분포와 네트워크 구조(예: 다른 세포 반경)에 어떻게 적응하는가?

주요 결과

• 제안된 동시 스케줄링 및 자원 할당 정책은 다양한 데이터 분포 시나리오와 세포 반경에서 최신 기술 대비 더 높은 모델 정확도를 달성한다.
• 최적의 대역폭 할당은 채널 조건이 열악하거나 계산 능력이 떨어지는 기기에 유리하게 작용하여 업데이트 시간을 줄이고 스트래글러 효과를 완화한다.
• 탐욕적 스케줄링 알고리즘은 손실의 하한이 증가하기 시작함에 따라 추가 장치를 더 이상 스케줄링하지 않아 최종 정확도가 악화되는 것을 방지한다.
• 동적 적응을 통해 라운드 수와 라운드당 지연 시간을 균형 잡음으로써 시간 예산 내에서 수렴을 보장한다.
• 실험 결과는 동일 및 이질적 기기 조건 하에서 기존 방법을 능가하는 정책의 성능을 확인한다.
• 이론적 분석을 통해 기대값 역손실이 하한으로 유계되어 있음을 증명하여 정의된 정확도 갭 내의 해로 수렴함을 보장한다.