[논문 리뷰] Adaptive Federated Learning in Resource Constrained Edge Computing Systems

Shiqiang Wang, Tiffany Tuor외 5명|arXiv (Cornell University)|2018. 04. 14.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 85

한 줄 요약

이 논문은 이웃 노드에서의 비-i.i.d 데이터와 리소스 제약이 있는 gradient-descent 기반 연합 학습을 분석하고, 수렴 경계(bound)를 도출하며, 리소스 예산하에서 손실을 최소화하기 위해 글로벌 집계 주기를 실시간으로 적응 선택하는 알고리즘을 제안한다.

ABSTRACT

Emerging technologies and applications including Internet of Things (IoT), social networking, and crowd-sourcing generate large amounts of data at the network edge. Machine learning models are often built from the collected data, to enable the detection, classification, and prediction of future events. Due to bandwidth, storage, and privacy concerns, it is often impractical to send all the data to a centralized location. In this paper, we consider the problem of learning model parameters from data distributed across multiple edge nodes, without sending raw data to a centralized place. Our focus is on a generic class of machine learning models that are trained using gradient-descent based approaches. We analyze the convergence bound of distributed gradient descent from a theoretical point of view, based on which we propose a control algorithm that determines the best trade-off between local update and global parameter aggregation to minimize the loss function under a given resource budget. The performance of the proposed algorithm is evaluated via extensive experiments with real datasets, both on a networked prototype system and in a larger-scale simulated environment. The experimentation results show that our proposed approach performs near to the optimum with various machine learning models and different data distributions.

연구 동기 및 목표

• 원시 데이터를 중앙 위치로 전송하지 않으면서 분산된 에지 데이터로부터 학습 모델 매개변수를 동기화하도록 동기를 부여한다.
• 비-i.i.d. 데이터와 여러 번의 로컬 업데이트 사이의 집계 간 경합을 포함하는 gradient-descent 기반 연합 학습의 이론적 수렴 경계 도출.
• 시스템 동역학 및 모델 특성에 따라 전역 집계 빈도를 실시간으로 적응시키는 제어 알고리즘 개발.
• 하드웨어 프로토타입과 시뮬레이션을 통해 실제 데이터 세트에서 제안된 접근법의 근사 최적 성능을 보여준다.

제안 방법

• 로컬 업데이트와 주기적 글로벌 집계를 갖는 gradient-descent 기반 연합 학습 프레임워크를 형성한다.
• 비-i.i.d. 데이터 분포와 집계 간 다수의 로컬 업데이트(tau)를 포함하는 수렴 경계 도출.
• 다중 리소스 예산(M종류) 하에서 최종 손실을 최소화하기 위한 리소스 인지 최적화 문제 정의.
• τ와 총 반복 횟수 T를 적응시키기 위해 데이터 분포, 시스템 동역학 및 모델 특성을 학습하는 제어 알고리즘 제안.
• 이론적 결과를 사용하여 리소스 제약 최적화 문제의 해를 근사하고, 실제 데이터 세트와 프로토타입에서 경험적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 에지 노드 간의 비-i.i.d. 데이터가 페더레이티드 러닝에서 분산 경사하강법의 수렴에 어떤 영향을 미치는가?
• RQ2 주어진 리소스 예산하에서 훈련 손실을 최소화하기 위한 글로벌 집계의 최적 주파수는 무엇인가?
• RQ3 실시간 제어 알고리즘이 다양한 모델 및 데이터 분포에서 거의 최적의 학습 성능에 접근하도록 집계 빈도를 적응시킬 수 있는가?
• RQ4 집계 간 로컬 업데이트 단계가 전체 수렴 및 리소스 활용에 어떤 영향을 미치는가?

주요 결과

• 본 논문은 비-i.i.d. 데이터 및 임의의 수의 로컬 업데이트가 집계 간에 존재하는 분산 경사하강법의 새로운 수렴 경계를 제공한다.
• 고정된 리소스 예산 하에서 학습 손실을 최소화하기 위해 전역 집계 빈도를 실시간으로 적응시키는 제어 알고리즘이 제안된다.
• 실제 데이터 세트에 대한 광범위한 실험은 다양한 모델, 분포 및 시스템 구성에 걸쳐 이 방식이 거의 최적의 성능에 근접함을 보여준다.
• 프레이미워크는 다중 리소스 유형(예: 시간, 에너지, 대역폭)과 각 업데이트의 비용을 고려하여 학습 효율성을 최적화한다.