[논문 리뷰] Task Allocation for Asynchronous Mobile Edge Learning with Delay and Energy Constraints

Umair Mohammad, Sameh Sorour외 1명|arXiv (Cornell University)|2020. 11. 30.

Age of Information Optimization인용 수 6

한 줄 요약

이 논문은 엣지 디바이스 간의 이질성과 엄격한 지연 및 에너지 제약 조건 하에서 모델 훈련을 최적화하는 이질성 인식 비동기 작업 할당(HA-Asyn) 기법을 제안한다. QCILP로 문제를 수식화하고 이중 단계의 제안-개선 알고리즘을 사용함으로써, HA-Asyn은 동기 및 동일 배치 기반 기법들보다 최대 25% 빠른 수렴 속도와 높은 정확도를 달성하며, 특히 자원이 제한된 조건에서 뛰어난 성능을 보인다.

ABSTRACT

This paper extends the paradigm of "mobile edge learning (MEL)" by designing an optimal task allocation scheme for training a machine learning model in an asynchronous manner across mutiple edge nodes or learners connected via a resource-constrained wireless edge network. The optimization is done such that the portion of the task allotted to each learner is completed within a given global delay constraint and a local maximum energy consumption limit. The time and energy consumed are related directly to the heterogeneous communication and computational capabilities of the learners; i.e. the proposed model is heterogeneity aware (HA). Because the resulting optimization is an NP-hard quadratically-constrained integer linear program (QCILP), a two-step suggest-and-improve (SAI) solution is proposed based on using the solution of the relaxed synchronous problem to obtain the solution to the asynchronous problem. The proposed HA asynchronous (HA-Asyn) approach is compared against the HA synchronous (HA-Sync) scheme and the heterogeneity unaware (HU) equal batch allocation scheme. Results from a system of 20 learners tested for various completion time and energy consumption constraints show that the proposed HA-Asyn method works better than the HU synchronous/asynchronous (HU-Sync/Asyn) approach and can provide gains of up-to 25\\% compared to the HA-Sync scheme.

연구 동기 및 목표

• 자원이 제한된 무선 엣지 네트워크에서 이질적인 디바이스를 갖는 환경에서 기계 학습 모델을 효율적으로 훈련시키는 도전 과제를 해결하기 위해.
• 개별 디바이스의 계산, 통신 및 에너지 제약을 고려하면서도 글로벌 지연 요구 조건을 충족하는 작업 할당 기법을 설계하기 위해.
• 통제된 오래됨 수준을 갖는 비동기 업데이트를 통해 분산 학습의 모델 정확도와 수렴 속도를 향상시키기 위해.
• 실제 엣지 배포 환경의 제약 조건 하에서 기존의 동기 및 동일 배치 할당 기법들을 능가하기 위해.
• 자원 가용성에 기반하여 비동기 및 동기 기법 간의 선택 전략을 제공하는 决책 프레임워크를 마련하기 위해.

제안 방법

• 지연과 에너지 제약 조건을 균형 있게 고려하기 위해 작업 할당 문제를 이차 제약 조건이 있는 정수 선형 프로그래밍(QCILP)으로 수식화한다.
• 이완된 동기 해를 활용해 초기화하고 비동기 해를 개선하는 이중 단계의 제안-개선(SAI) 알고리즘을 도입한다.
• 각기 다른 통신 및 계산 능력을 반영하여 최적화 프레임워크에 디바이스의 이질성을 통합한다.
• 학습자 간 업데이트 시점의 최대 차이를 제한하는 파라미터 c를 통해 모델 오래됨을 통제한다.
• 지연(T)과 에너지(E) 제약 조건이 다양한 조건에서 성능을 평가하기 위해 광범위한 시뮬레이션에서 MNIST 데이터셋을 사용한다.
• HA-Asyn 기법을 사용할 경우 오래됨 수준 c를 하이퍼파라미터로 삼아 교차 검증을 수행한다.

실험 결과

연구 질문

• RQ1 모바일 엣지 학습에서 글로벌 지연과 개인의 에너지 제약 조건을 충족시키기 위해 작업 할당을 어떻게 최적화할 수 있는가?
• RQ2 동기 또는 동일 배치 할당 대비 비동기 업데이트 전략을 사용할 경우 얻을 수 있는 성능 향상은 무엇인가?
• RQ3 디바이스의 이질성은 엣지 학습에서 작업 할당 설계 및 효과성에 어떤 영향을 미치는가?
• RQ4 수렴 속도와 정확도 측면에서 비동기 학습이 동기 학습을 능가하는 조건는 무엇인가?
• RQ5 자원 가용성에 기반하여 동기 및 비동기 작업 할당 간의 최적 전략은 무엇인가?

주요 결과

• HA-Asyn 기법은 HA-Sync 대비 최대 25% 빠른 수렴 속도를 달성했으며, T=25초, E=20J 조건에서 97.3% 정확도를 달성하는 데 25초의 훈련 시간 단축을 이룬 바 있다.
• T=10초, E=10J 조건에서 HA-Asyn은 7번의 글로벌 업데이트 내에 95% 정확도를 달성했고, HA-Sync는 9번의 업데이트가 필요했으며, 훈련 시간이 22.2% 감소했다.
• T=20초, E=10J 조건에서 HA-Asyn은 6번의 업데이트 후 95.4% 정확도를 달성했고, HA-Sync는 94%에 도달하지 못했다.
• E=20J, T=20초 조건에서 HA-Asyn은 c=1~3일 경우 97% 정확도를 달성했지만, HA-Sync는 이 수준의 성능을 확보하지 못했다.
• 저에너지 및 중간 수준의 지연 조건에서 HA-Asyn은 최종 검증 정확도 측면에서 항상 HA-Sync 및 HU 기법을 능가했다.
• HA-Sync 기법은 오직 중간 자원 지역 또는 자원이 모두 풍부한 경우에만 최고의 성능를 보였으며, 특히 97.2% 정확도 목표 달성에 있어 유리했다.