[논문 리뷰] MAB-based Client Selection for Federated Learning with Uncertain Resources in Mobile Networks

Naoya Yoshida, Takayuki Nishio외 2명|arXiv (Cornell University)|2020. 09. 29.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 4

한 줄 요약

이 논문은 자원이 불확실하고 변동성이 큰 모바일 네트워크 환경에서 페더레이티드 러닝(FL)을 위한 다수의 손잡이 기반 클라이언트 선택 방법을 제안한다. 탐색(성능이 떨어지는 클라이언트 테스트)과 이용(자원이 많은 클라이언트 선택)을 균형 있게 조절함으로써, 특히 $\eta=1.99$일 때 자원 변동성이 높은 상황에서 FedCS보다 훨씬 빠른 수렴을 달성하면서 FL 학습 지연을 줄인다. 모델 정확도를 희생시키지 않은 채 효율성을 향상시킨다.

ABSTRACT

This paper proposes a client selection method for federated learning (FL) when the computation and communication resource of clients cannot be estimated; the method trains a machine learning (ML) model using the rich data and computational resources of mobile clients without collecting their data in central systems. Conventional FL with client selection estimates the required time for an FL round from a given clients' computation power and throughput and determines a client set to reduce time consumption in FL rounds. However, it is difficult to obtain accurate resource information for all clients before the FL process is conducted because the available computation and communication resources change easily based on background computation tasks, background traffic, bottleneck links, etc. Consequently, the FL operator must select clients through exploration and exploitation processes. This paper proposes a multi-armed bandit (MAB)-based client selection method to solve the exploration and exploitation trade-off and reduce the time consumption for FL in mobile networks. The proposed method balances the selection of clients for which the amount of resources is uncertain and those known to have a large amount of resources. The simulation evaluation demonstrated that the proposed scheme requires less learning time than the conventional method in the resource fluctuating scenario.

연구 동기 및 목표

• 클라이언트의 계산 및 통신 자원이 시간에 따라 불확실하고 변동성이 클 때 페더레이티드 러닝의 클라이언트 선택 문제를 해결한다.
• 일반적인 FL 방법이 안정된 자원 정보를 사전 추정에 의존함으로써 정확한 가정이 어긋날 경우 성능 저하가 발생하는 한계를 극복한다.
• 동적으로 탐색(알지 못하는 클라이언트 테스트)과 이용(성능이 뛰어난 클라이언트 선택)을 균형 있게 조절하는 클라이언트 선택 전략을 설계하여 FL 학습 지연을 최소화한다.
• 배경 작업, 네트워크 혼잡도, 변동성이 큰 채널 품질로 인해 자원 가용성이 자주 변하는 모바일 네트워크 환경에 적합한 실시간 클라이언트 선택 메커니즘을 개발한다.

제안 방법

• 각 클라이언트를 하나의 팔로 간주하고, 보상은 추정된 학습 시간 단축에 기반하는 다수의 손잡이(MAB) 문제로 클라이언트 선택 문제를 수립한다.
• 상한 신뢰도(UCB)를 사용하여 탐색과 이용을 균형 있게 조절하며, UCB 점수는 클라이언트 선택의 평균 성능와 불확실성 모두를 통합한다.
• 두 가지 MAB 기반 클라이언트 선택 변형을 제안한다: 기본 MAB-CS(Eq. 4 기반)와 원소별 MAB-CS(식 5–6에서 사용된 모델 업데이트 및 업로드 시간과 UCB를 활용).
• MAB 기반 선택을 FedCS 프레임워크에 통합하여 고정된 지연 추정치를 동적이고 불확실성 인식 기반의 클라이언트 평가로 대체한다.
• 기본으로 이동 평균 추정을 Extended FedCS에 적용하지만, 제안된 방법은 시간이 지남에 따라 클라이언트 성능을 적응적으로 학습하는 데 MAB를 사용한다.
• 실제 자원 변동성을 반영한 셀룰러 네트워크 환경에서 깊은 신경망을 사용한 대규모 FL 학습 시뮬레이션을 수행하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 클라이언트 자원이 불확실하고 변동성이 클 때 MAB 기반 클라이언트 선택은 어떻게 FL 학습 효율성을 향상시키는가?
• RQ2 안정된 자원 추정을 가정하는 전통적 방법과 비교해 탐색과 이용을 균형 있게 조절함으로써 얼마나 많은 FL 학습 지연 감소를 이룰 수 있는가?
• RQ3 다양한 자원 조건에서 동적으로 변화하는 환경에서, 기본형과 원소별 MAB 수식 간의 클라이언트 선택 성능는 어떻게 비교되는가?
• RQ4 자원 변동성이 높은 상황에서 제안된 방법은 학습 시간을 단축시키면서도 모델 정확도를 유지하는가?
• RQ5 자원 추정치가 신뢰할 수 없을 때, MAB 기반 접근 방식이 FedCS보다 수렴 속도에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 자원 변동성이 높은 경우($\eta = 1.99$), 제안된 원소별 MAB-CS는 FedCS보다 훨씬 더 큰 학습 시간 단축 비율을 달성하여 모든 평가된 알고리즘 중에서 가장 큰 감소 비율을 기록했다.
• 저변동성 상황에서는 모든 MAB 기반 방법이 불필요한 탐색으로 인해 FedCS보다 약간 더 긴 학습 시간을 기록했으며, 이는 높은 불확실성에서만 탐색이 유익하다는 것을 확인한다.
• 모든 MAB 기반 방법의 UCB 점수는 시간이 지남에 따라 수렴함을 보여주어 안정적이고 일관된 클라이언트 선택 정책이 학습되었음을 시사한다.
• 모든 클라이언트 선택 방법, 포함해 제안된 방법들 역시 유사한 예측 정확도를 달성하여, 학습 시간 단축이 모델 성능에 영향을 주지 않음을 입증한다.
• 자원 변동성이 높은 조건에서 원소별 MAB-CS는 모델 업데이트 및 업로드 시간을 더 정확하게 모델링함으로써 기본 MAB-CS보다 학습 시간 단축에서 뛰어난 성능을 보였다.
• 시뮬레이션 결과는 MAB 기반 선택이 자원이 부족한 클라이언트를 선택함으로써 발생하는 지연을 효과적으로 완화함을 확인한다.