[논문 리뷰] Adaptive Task Allocation for Asynchronous Federated and Parallelized Mobile Edge Learning

Umair Mohammad, Sameh Sorour|arXiv (Cornell University)|2019. 05. 05.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 비동기 분산 모바일 엣지 학습에서 이질적인 환경을 고려한 적응형 작업 할당 기법을 제안하며, 그래디언트의 오래됨을 최소화하기 위해 국소 업데이트 수와 데이터 배치 크기를 공동 최적화한다. 이는 이완된 비볼록 2차 제약 프로그래밍으로 공식화하고, KKT 조건 및 제안-개선 접근법을 통해 해결함으로써 동기화 및 동일 할당 비동기 기반 대비 낮은 오래됨과 높은 모델 정확도를 달성한다.

ABSTRACT

This paper proposes a scheme to efficiently execute distributed learning tasks in an asynchronous manner while minimizing the gradient staleness on wireless edge nodes with heterogeneous computing and communication capacities. The approach considered in this paper ensures that all devices work for a certain duration that covers the time for data/model distribution, learning iterations, model collection and global aggregation. The resulting problem is an integer non-convex program with quadratic equality constraints as well as linear equality and inequality constraints. Because the problem is NP-hard, we relax the integer constraints in order to solve it efficiently with available solvers. Analytical bounds are derived using the KKT conditions and Lagrangian analysis in conjunction with the suggest-and-improve approach. Results show that our approach reduces the gradient staleness and can offer better accuracy than the synchronous scheme and the asynchronous scheme with equal task allocation.

연구 동기 및 목표

• 엣지 디바이스 간의 이질적인 컴퓨팅 및 통신 능력으로 인한 분산 모바일 엣지 학습에서의 그래디언트 오래됨 문제를 해결하기 위해.
• 각 디바이스가 글로벌 집계 주기 동안 자신의 능력에 따라 다른 수의 국소 업데이트를 수행하는 비동기 학습 프레임워크를 설계하기 위해.
• 그래디언트 오래됨을 최소화하고 모델 정확도를 극대화하기 위해 데이터 배치 할당과 국소 업데이트 수를 공동 최적화하기 위해.
• 동기화 기반 기법의 비효율성과 동일 할당 비동기 기반 기법의 열등한 성능을 피하는 가용성 있고 실용적인 해결책을 개발하기 위해.
• KKT 조건 및 라그랑주 이완을 사용한 분석적 경계와 근사 최적해를 제공하기 위해.

제안 방법

• 각 디바이스 $k$ 에 대해 데이터 배치 크기 $d_k$ 와 국소 업데이트 수 $\tau_k$ 를 공동 최적화하기 위한 정수 2차 제약 선형 프로그래밍(IQCLP)을 공식화한다.
• 정수 제약 조건을 이완하여 NP-난해 문제를 표준 솔버로 해결 가능한 비볼록 2차 제약 프로그래밍(QCLP)으로 변환한다.
• 카루쉬-쿠ーン-터커(Karush-Kuhn-Tucker, KKT) 최적성 조건 및 라그랑주 분석을 적용하여 최적의 $\tau_k^*$ 와 $d_k^*$ 를 위한 분석적 근사값을 유도한다.
• 이완된 해의 품질을 향상시키고 근사 최적값에 수렴하도록 향상시키는 반복적 정밀화 과정인 제안-개선(SAI) 프로세스를 도입한다.
• 모든 디바이스 쌍에 대해 그래디언트 발산을 제한하기 위해 최대 오래됨 $z$ 를 부등식 쌍 $-z + \tau_k - \tau_l \leq 0$ 과 $-z - \tau_k + \tau_l \leq 0$ 으로 제약한다.
• 라그랑주 승수 $\mu_n, \mu_n'$ 를 사용해 모든 디바이스 쌍에 대한 오래됨 제약 조건을 모델링하며, 인덱스 매핑을 통해 $n_k$ 와 $N_k$ 를 사용해 활성 제약 조건을 추적한다.

실험 결과

연구 질문

• RQ1 디바이스의 이질성 존재 하에 비동기 모바일 엣지 학습에서 작업 할당을 어떻게 적응적으로 조정하여 그래디언트 오래됨을 최소화할 수 있는가?
• RQ2 시간 및 자원 제약 조건 하에서 모델 정확도를 극대화하기 위해 각 디바이스에 대한 데이터 배치와 국소 업데이트의 최적 공동 할당은 무엇인가?
• RQ3 제안된 적응형 기법은 오래됨과 수렴성 측면에서 동기화 및 동일 할당 비동기 기반 대비 어떻게 비교되는가?
• RQ4 KKT 조건 및 라그랑주 이완에서 유도된 분석적 경계가 비볼록 최적화 문제에 대해 근사 최적 해를 도출할 수 있는가?
• RQ5 다양한 디바이스 능력이 비동기 학습 성능에 미치는 영향은 무엇이며, 이를 어떻게 모델링하고 최적화할 수 있는가?

주요 결과

• 제안된 적응형 작업 할당 기법은 동기화 기반 및 동일 작업 할당 비동기 기반 모두보다 그래디언트 오래됨을 더 효과적으로 줄인다.
• 특히 디바이스 능력이 크게 다름에 따라 성능이 떨어지는 이질적 환경에서 동기화 기반 대비 더 높은 검증 정확도를 달성한다.
• 제안-개선(SAI) 정밀화 과정은 이완된 해의 품질을 크게 향상시키며, 최적 성능에 가까워진다.
• KKT 조건 및 라그랑주 분석에서 도출된 분석적 해는 $\tau_k^*$ 와 $d_k^*$ 에 대해 강력한 이론적 기반과 실용적인 근사값을 제공한다.
• 정수 제약 조건의 이완은 표준 솔버를 통해 효율적인 해를 유지하면서도 높은 정확도와 낮은 오래됨을 유지한다.
• 실험 결과는 계산 및 통신 능력이 높은 디바이스가 더 많은 업데이트와 데이터를 할당받아 정지 시간을 줄이고 전체 시스템 수렴성을 향상시킨다는 것을 확인한다.