[논문 리뷰] HierTrain: Fast Hierarchical Edge AI Learning with Hybrid Parallelism in Mobile-Edge-Cloud Computing

Deyin Liu, Xu Chen외 2명|arXiv (Cornell University)|2020. 03. 22.

IoT and Edge/Fog Computing참고 문헌 30인용 수 6

한 줄 요약

HierTrain는 장치, 에지, 클라우드 계층 간의 적응형 하이브리드 병렬 처리를 통해 모바일-에지-클라우드 환경에서 DNN 학습을 가속화하는 계층적 엣지 AI 학습 프레임워크를 제안한다. 계층 수준 및 샘플 수준의 작업 스케줄링을 공동 최적화함으로써, 클라우드 기반 및 이전의 계층적 접근 방식 대비 최대 6.9배의 속도 향상을 달성한다.

ABSTRACT

Nowadays, deep neural networks (DNNs) are the core enablers for many emerging edge AI applications. Conventional approaches to training DNNs are generally implemented at central servers or cloud centers for centralized learning, which is typically time-consuming and resource-demanding due to the transmission of a large amount of data samples from the device to the remote cloud. To overcome these disadvantages, we consider accelerating the learning process of DNNs on the Mobile-Edge-Cloud Computing (MECC) paradigm. In this paper, we propose HierTrain, a hierarchical edge AI learning framework, which efficiently deploys the DNN training task over the hierarchical MECC architecture. We develop a novel extit{hybrid parallelism} method, which is the key to HierTrain, to adaptively assign the DNN model layers and the data samples across the three levels of edge device, edge server and cloud center. We then formulate the problem of scheduling the DNN training tasks at both layer-granularity and sample-granularity. Solving this optimization problem enables us to achieve the minimum training time. We further implement a hardware prototype consisting of an edge device, an edge server and a cloud server, and conduct extensive experiments on it. Experimental results demonstrate that HierTrain can achieve up to 6.9x speedup compared to the cloud-based hierarchical training approach.

연구 동기 및 목표

• 에지 장치에서 대규모 데이터 전송으로 인한 클라우드 기반 DNN 학습의 높은 지연 시간과 자원 오버헤드 문제를 해결하기 위해.
• 모바일 및 IoT 장치의 제한된 계산 능력으로 인해 성능이 떨어지는 완전히 분산된 에지 학습의 한계를 극복하기 위해.
• 장치, 에지 서버, 클라우드로 구성된 삼단계 모바일-에지-클라우드 아키텍처의 잠재력을 극대화하기 위해 이질적인 통신 및 계산 자원을 효율적으로 활용하기 위해.
• 계층적 시스템 전반에서 모델 계층과 데이터 샘플의 분포를 공동 최적화하여 종단 간 DNN 학습 시간을 최소화하기 위해.
• 기존의 중심집중형 및 이중계층 학습 방식보다 실세계 환경에서 뛰어난 성능을 보이는 실용적이고 하드웨어 구현이 가능한 프레임워크를 개발하기 위해.

제안 방법

• 자원 이질성에 기반해 장치, 에지 서버, 클라우드 간에 DNN 모델 계층과 데이터 샘플을 동적으로 할당하는 새로운 하이브리드 병렬 처리 방법을 제안한다.
• 총 학습 시간을 최소화하기 위해 계층 수준(모델 분할) 및 샘플 수준(데이터 스플리팅)에서 DNN 학습 작업 스케줄링을 위한 공동 최적화 문제를 수립한다.
• 세 수준 간의 다양한 대역폭과 처리 능력을 반영하기 위해 통신 지연 및 계산 부하 모델을 최적화 프레임워크에 통합한다.
• 모델 계층의 최적 분할 지점과 계층적 노드 간 최적의 데이터 분포 전략을 적응적으로 선택하는 스케줄링 정책을 설계한다.
• 실제 조건에서 프레임워크를 검증하기 위해 하나의 에지 장치, 하나의 에지 서버, 하나의 클라우드 서버를 사용해 하드웨어 프로토타입을 구현한다.
• 혼합 정수 프로그래밍 기법을 사용해 최적화 문제를 해결하고 최적의 작업 할당 전략을 도출한다.

실험 결과

연구 질문

• RQ1 장치, 에지, 클라우드 자원의 계층적 구조를 효과적으로 활용함으로써 모바일-에지-클라우드 환경에서 DNN 학습을 어떻게 가속화할 수 있는가?
• RQ2 학습 시간을 최소화하기 위해 DNN 모델 계층을 어떻게 분할하고 데이터 샘플을 세 수준에 어떻게 분포시켜야 하는가?
• RQ3 모델 병렬 처리와 데이터 병렬 처리를 결합한 하이브리드 병렬 처리 방식은 순수한 모델 병렬 처리 또는 데이터 병렬 처리 대비 엣지 AI에서 학습 효율성을 어떻게 향상시키는가?
• RQ4 에지와 클라우드 간의 통신 지연이 학습 성능에 미치는 영향은 무엇이며, 지능적인 스케줄링을 통해 이를 어떻게 완화할 수 있는가?
• RQ5 실세계 하드웨어 프로토타입이 기존의 클라우드 기반 및 이중계층 학습 접근 방식 대비 뚜렷한 속도 향상을 보일 수 있는가?

주요 결과

• HierTrain은 클라우드 기반 계층적 학습 접근 방식 대비 DNN 학습 시간을 최대 6.9배 가속화한다.
• 실제 하드웨어 구현에서 JointDNN 및 JALAD와 같은 기존 방법들을 능가하는 뛰어난 학습 효율성을 입증한다.
• 하이브리드 병렬 처리 전략은 계산 부하를 균형 있게 분배하고 노드 간 통신 오버헤드를 최소화함으로써 학습 지연을 크게 감소시킨다.
• 계층 수준 및 샘플 수준 스케줄링의 공동 최적화는 모바일-에지-클라우드 스택 전반에서 이질적 자원을 더 효율적으로 활용하게 한다.
• 하드웨어 프로토타입은 HierTrain의 실세계 엣지 AI 워크로드에서의 실용적 구현 가능성과 성능 향상을 확인한다.
• 제안된 스케줄링 정책은 네트워크 및 계산 조건의 변화에 효과적으로 적응하여 다양한 배포 환경에서 견고한 성능을 보장한다.