[논문 리뷰] Update Aware Device Scheduling for Federated Learning at the Wireless Edge

Mohammad Mohammadi Amiri, Denız Gündüz외 2명|arXiv (Cornell University)|2020. 01. 28.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

이 논문은 채널 상태와 국소 모델 업데이트의 중요도를 종합적으로 고려하여 장치 선택과 자원 할당을 동시에 최적화하는 무선 피에르드러닝 학습을 위한 업데이트 인식 장치 스케줄링 프레임워크를 제안한다. 더 나은 채널 조건과 더 큰 영향을 미치는 업데이트를 우선순위에 두어 수렴 속도를 향상시키고, 특히 다수의 장치를 라운드당 스케줄링이 필요한 비i.i.d. 데이터 분포에서 성능을 향상시킨다.

ABSTRACT

We study federated learning (FL) at the wireless edge, where power-limited devices with local datasets collaboratively train a joint model with the help of a remote parameter server (PS). We assume that the devices are connected to the PS through a bandwidth-limited shared wireless channel. At each iteration of FL, a subset of the devices are scheduled to transmit their local model updates to the PS over orthogonal channel resources, while each participating device must compress its model update to accommodate to its link capacity. We design novel scheduling and resource allocation policies that decide on the subset of the devices to transmit at each round, and how the resources should be allocated among the participating devices, not only based on their channel conditions, but also on the significance of their local model updates. We then establish convergence of a wireless FL algorithm with device scheduling, where devices have limited capacity to convey their messages. The results of numerical experiments show that the proposed scheduling policy, based on both the channel conditions and the significance of the local model updates, provides a better long-term performance than scheduling policies based only on either of the two metrics individually. Furthermore, we observe that when the data is independent and identically distributed (i.i.d.) across devices, selecting a single device at each round provides the best performance, while when the data distribution is non-i.i.d., scheduling multiple devices at each round improves the performance. This observation is verified by the convergence result, which shows that the number of scheduled devices should increase for a less diverse and more biased data distribution.

연구 동기 및 목표

• 무선 엣지에서의 제한된 무선 대역폭과 장치 에너지 제약 문제를 해결하기 위해.
• 채널 품질과 업데이트 중요도를 기반으로 지능적으로 장치를 선택하여 전송함으로써 모델 수렴 속도와 학습 효율성을 향상시키기 위해.
• 데이터 분포 특성에 따라 동적으로 적응하는 스케줄링 정책을 설계하여, 특히 i.i.d.와 비i.i.d. 데이터 시나리오 간의 차이를 명확히 하기 위해.
• 자원 제약 조건 하에서 제안된 무선 피에르드러닝 알고리즘의 이론적 수렴 보장을 확립하기 위해.

제안 방법

• 제안된 방법은 채널 이득과 국소 모델 업데이트의 크기를 종합한 복합 지표를 기반으로 매 피에르드러닝 라운드당 일부 장치를 스케줄링한다.
• 각 선택된 장치가 가용 스펙트럼 및 전력 제약 내에서 모델 업데이트를 압축하고 전송할 수 있도록 자원 할당을 최적화한다.
• 강한 채널과 높은 업데이트 중요도를 가진 장치를 우선순위에 두어 신뢰성과 정보 수확량을 균형 잡는 새로운 스케줄링 정책을 수립한다.
• 공유된 무선 채널을 통해 전송이 가능하도록 장치 측에서 압축을 통합하여 업로드 용량 한계를 충족시킨다.
• 제한된 장치 전송 용량과 확률적 경사 하강법을 가정할 때 제안된 알고리즘의 이론적 수렴을 확립한다.
• 데이터 분포의 다양성에 따라 스케줄링 장치 수를 동적으로 조정하며, 더 편향되거나 비i.i.i.d. 데이터일수록 스케줄링 수를 늘린다.

실험 결과

연구 질문

• RQ1 채널 상태와 모델 업데이트 중요도를 동시에 고려할 경우, 무선 피에르드러닝의 수렴과 성능에 어떤 영향을 미치는가?
• RQ2 i.i.d.와 비i.i.d.와 같은 다양한 데이터 분포 특성 하에서, 각 라운드당 최적의 스케줄링 장치 수는 얼마인가?
• RQ3 제안된 스케줄링 정책은 단지 채널 품질이나 업데이트 크기 기반 정책과 비교해 어떻게 다른가?
• RQ4 자원 제약 조건 하에서 제안된 무선 피에르드러닝 알고리즘의 이론적 수렴 행동은 어떠한가?
• RQ5 데이터 분포의 다양성이 무선 피에르드러닝에서 효과적인 장치 스케줄링 정책 설계에 어떤 영향을 미치는가?

주요 결과

• 채널 품질과 업데이트 중요도를 종합적으로 고려하는 제안된 스케줄링 정책은 각각 단독으로 사용하는 정책보다 장기적인 모델 성능에서 뛰어나다.
• 데이터가 장치 간에 i.i.d.일 경우, 라운드당 하나의 장치만 스케줄링하는 것이 가장 우수한 성능를 보이며, 이는 업데이트가 더 균일하고 중복도가 낮기 때문이다.
• 비i.i.d. 데이터 분포의 경우, 라운드당 다수의 장치를 스케줄링함으로써 데이터 다양성이 높아져 수렴 속도와 모델 정확도가 크게 향상된다.
• 이론적 분석을 통해 데이터 분포가 더 편향되거나 다양성이 낮아질수록 스케줄링 장치 수를 늘여야 함을 확인하였다.
• 수치적 결과는 제안된 방법이 더 빠른 수렴과 더 나은 일반화 성능을 달성함을 검증하였으며, 특히 엣지 학습에서 흔한 현실적인 비i.i.d. 환경에서 뚜렷한 성능 향상을 보였다.