[논문 리뷰] Federated Learning in Mobile Edge Computing: An Edge-Learning Perspective for Beyond 5G

Shashank Jere, Qiang Fan외 3명|arXiv (Cornell University)|2020. 07. 15.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 8

한 줄 요약

이 논문은 라우팅 자원이 제한된 동적 무선 환경에서 통신 효율성과 모델 정확도를 동시에 최적화하기 위해 강화학습 기반 동적 자원 할당과 데이터가 풍부한 IoT 기기 우선 선택 기반의 탐욕적 기기 선택 알고리즘을 사용하는 Beyond 5G 네트워크를 위한 엣지 컴퓨팅 기반 연합 학습 프레임워크를 제안한다. 이 프레임워크는 자원 제약 하에서 훈련 지연을 크게 감소시키고 전역 모델 정확도를 향상시킨다.

ABSTRACT

Owing to the large volume of sensed data from the enormous number of IoT devices in operation today, centralized machine learning algorithms operating on such data incur an unbearable training time, and thus cannot satisfy the requirements of delay-sensitive inference applications. By provisioning computing resources at the network edge, Mobile Edge Computing (MEC) has become a promising technology capable of collaborating with distributed IoT devices to facilitate federated learning, and thus realize real-time training. However, considering the large volume of sensed data and the limited resources of both edge servers and IoT devices, it is challenging to ensure the training efficiency and accuracy of delay-sensitive training tasks. Thus, in this paper, we design a novel edge computing-assisted federated learning framework, in which the communication constraints between IoT devices and edge servers and the effect of various IoT devices on the training accuracy are taken into account. On one hand, we employ machine learning methods to dynamically configure the communication resources in real-time to accelerate the interactions between IoT devices and edge servers, thus improving the training efficiency of federated learning. On the other hand, as various IoT devices have different training datasets which have varying influence on the accuracy of the global model derived at the edge server, an IoT device selection scheme is designed to improve the training accuracy under the resource constraints at edge servers. Extensive simulations have been conducted to demonstrate the performance of the introduced edge computing-assisted federated learning framework.

연구 동기 및 목표

• 지연 민감한 IoT 애플리케이션을 위한 연합 학습에서 높은 통신 지연과 제한된 엣지 서버 자원의 과제를 해결한다.
• 실시간 채널 상태에 기반해 무선 통신 자원을 동적으로 할당하여 연합 학습의 훈련 효율성을 향상시킨다.
• 엣지 서버의 계산 및 저장 용량 제약 조건 하에서 더 높은 품질과 더 큰 국소 데이터셋을 보유한 IoT 기기를 선택하여 전역 모델 정확도를 향상시킨다.
• 자원 제약이 있는 모바일 엣지 컴퓨팅 환경에서 훈련 속도, 모델 정확도, 기기 에너지 효율성 간의 균형을 확보한다.

제안 방법

• 훈련 지연을 최소화하기 위해 IoT 기기와 엣지 서버 간의 통신 자원(예: 무선 자원)을 동적으로 구성하는 강화학습 기반 알고리즘을 적용한다.
• 국소 데이터셋 크기와 전역 모델 정확도 기여 잠재력에 따라 기기를 우선순위로 정렬하는 탐욕적 IoT 기기 선택 기법을 설계한다.
• 분산된 기기 간의 훈련을 조율하기 위해 기기 선택 및 자원 할당 메커니즘을 통합한 엣지 컴퓨팅 기반 연합 학습 프레임워크에 통합한다.
• 시간에 따라 변화하는 무선 채널 조건을 모델링하고 공정성과 신뢰성을 확보하기 위해 서비스 품질(QoS) 제약 조건을 통합한다.
• 선택된 기기들로부터 온 국소 모델 업데이트를 통합하여 전역 모델을 생성하기 위해 엣지 서버에서 중심 집계 모델을 사용한다.
• 엣지 서버 용량 제약과 통신 지연 제약 하에서 통합 자원 할당 및 기기 선택 문제를 수식화한다.

실험 결과

연구 질문

• RQ1 제한된 무선 자원을 가진 동적 무선 환경에서 연합 학습의 통신 지연은 어떻게 최소화할 수 있는가?
• RQ2 엣지 서버의 계산 및 저장 용량이 제한된 조건에서 전역 모델 정확도를 최대화하는 데 가장 효과적인 기기 선택 전략은 무엇인가?
• RQ3 모바일 엣지 컴퓨팅의 통합은 IoT 애플리케이션을 위한 연합 학습의 확장성과 효율성을 어떻게 향상시키는가?
• RQ4 자원 제약이 있는 연합 학습 시스템에서 훈련 속도, 모델 정확도, 기기 참여 간의 상충 관계는 어떻게 존재하는가?

주요 결과

• 제안된 강화학습 기반 통신 자원 할당 기법은 시간에 따라 변화하는 채널 조건에 동적으로 적응함으로써 훈련 지연을 감소시킨다.
• 기기 수가 증가할수록 탐욕적 기기 선택 알고리즘이 Best-SINR 방법에 비해 총 센서 데이터 기여도 측면에서 뛰어난 성능을 보인다.
• 기기 수가 적을 경우 탐욕적 알고리즘과 Best-SINR 알고리즘이 유사한 데이터 기여도를 보이지만, 기기 수가 증가함에 따라 탐욕적 접근 방식이 우월한 성능 유지를 유지한다.
• 탐욕적 알고리즘은 더 크고 정보가 풍부한 국소 데이터셋을 보유한 기기를 우선순위로 선정함으로써 각 훈련 라운드당 더 나은 모델 업데이트를 이끌어내어 더 높은 전역 모델 정확도를 달성한다.
• 이 프레임워크는 엣지 서버 용량 제약 조건 하에서도 훈련 효율성과 정확도 향상을 보이며, 실시간으로 지연 민감한 응용 분야에서의 효과성을 입증한다.
• 시뮬레이션 결과, 제안된 프레임워크가 동적이고 이질적인 IoT 환경에서 통신 비용, 지연, 모델 정확도 간의 균형을 효과적으로 확보함을 확인한다.