[논문 리뷰] Distributed Machine Learning through Heterogeneous Edge Systems

Hanpeng Hu, Dan Wang외 1명|arXiv (Cornell University)|2019. 11. 16.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 이질적인 엣지 시스템에서 분산 기계학습을 위한 새로운 파rameter 동기화 모델인 ADSP를 제안한다. ADSP는 빠른 워커가 더디운 워커를 기다리지 않고 지속적으로 학습할 수 있도록 하여 대기 시간을 제거한다. 또한 전략적으로 선택된 간격으로 업데이트를 커밋함으로써 수렴성을 보장한다. ADSP는 운동량 기반 온라인 탐색을 통해 커밋 률을 동적으로 조정함으로써 수렴성을 확보하고, 최신 기술 대비 최대 62.4% 빠른 수렴을 달성한다.

ABSTRACT

Many emerging AI applications request distributed machine learning (ML) among edge systems (e.g., IoT devices and PCs at the edge of the Internet), where data cannot be uploaded to a central venue for model training, due to their large volumes and/or security/privacy concerns. Edge devices are intrinsically heterogeneous in computing capacity, posing significant challenges to parameter synchronization for parallel training with the parameter server (PS) architecture. This paper proposes ADSP, a parameter synchronization scheme for distributed machine learning (ML) with heterogeneous edge systems. Eliminating the significant waiting time occurring with existing parameter synchronization models, the core idea of ADSP is to let faster edge devices continue training, while committing their model updates at strategically decided intervals. We design algorithms that decide time points for each worker to commit its model update, and ensure not only global model convergence but also faster convergence. Our testbed implementation and experiments show that ADSP outperforms existing parameter synchronization models significantly in terms of ML model convergence time, scalability and adaptability to large heterogeneity.

연구 동기 및 목표

• 계산 및 통신 용량이 크게 다름에 따라 발생하는 이질적인 엣지 시스템에서의 비효율적 학습 문제를 해결하기 위해.
• 기존 모델에서 학습 시간의 대부분을 차지하는 워커 간 이질성으로 인한 대기 시간을 최소화하기 위해.
• 더 빠른 엣지 장치의 활용을 극대화하면서도 글로벌 모델 수렴을 보장하기 위해.
• 높은 이질성과 네트워크 지연 상황에서도 잘 작동하는 확장성 있고 적응 가능한 동기화 모델을 설계하기 위해.
• 실세계 엣지 환경에 적합한 수렴 속도, 확장성, 적응 가능성 면에서 기존 파rameter 동기화 모델을 능가하기 위해.

제안 방법

• ADSP는 더 빠른 워커가 더디운 워커를 기다리지 않고 계속 학습할 수 있도록 하는 '대기 없음' 전략을 도입한다.
• 모든 워커가 동기화된 전략적으로 선택된 간격으로 모델 업데이트를 커밋함으로써 수렴성을 유지한다.
• 운동량 기반 온라인 탐색 알고리즘은 최적의 글로벌 커밋 률을 계산하고 개별 워커의 커밋 빈도를 동적으로 조정한다.
• 모델은 각 커밋당 로컬 계산 시간과 통신 지연의 합으로 총 처리 용량을 간주하여 계산 및 통신 이질성 둘 다를 다룰 수 있다.
• 속도의 차이에 관계없이 시간이 지남에 따라 각 워커가 약간의 동일한 수의 커밋을 기여하도록 보장한다.
• 다양한 엣지 장치를 사용한 실제 테스트베드에서 시스템을 구현하고 실세계 AI 워크로드에서 평가하였다.

실험 결과

연구 질문

• RQ1 워커 이질성으로 인한 대기 시간을 최소화하기 위해 분산 엣지 학습에서 파rameter 동기화를 어떻게 최적화할 수 있는가?
• RQ2 더 빠른 워커가 지속적으로 학습할 수 있도록 하면서도 글로벌 모델 수렴을 보장할 수 있는 동기화 모델을 설계할 수 있는가?
• RQ3 이질적인 환경에서 수렴 속도와 안정성을 균형 잡기 위한 최적의 커밋 률 전략은 무엇인가?
• RQ4 계산 및 통신 이질성이 다양할 경우 모델의 성능은 어떻게 되는가?
• RQ5 실세계 구현에서 엣지 워커 수가 증가함에 따라 모델은 어느 정도 확장되는가?

주요 결과

• 이질성 정도 H = 3.2일 때, ADSP는 고정된 ADACOMM 대비 최대 62.4% 빠른 수렴 시간을 달성한다.
• 이질성이 증가할수록 ADSP와 Fixed ADACOMM 간의 성능 격차가 커지며, 이는 ADSP가 다양한 엣지 장치에 대해 뛰어난 적응성을 가짐을 보여준다.
• ADSP는 스케일업 상황에서도 빠른 수렴을 유지하며, 36명의 워커에서 기존의 Fixed ADACOMM보다 뚜렷하게 뛰어난 성능을 보인다.
• ADSP는 네트워크 지연에 강건하다: 통신 지연이 높을수록 기준 모델 대비 수렴 속도 향상 비율이 증가하며, 이는 통신 오버헤드에 덜 민감하기 때문이다.
• ADSP의 대기 없음 전략은 정지 시간을 줄여 고용량 엣지 장치의 빠른 활용을 가능하게 하고 전체 시스템 효율성을 향상시킨다.
• ADSP는 총 처리 용량을 통합된 지표로 간주함으로써 계산 및 통신 이질성을 효과적으로 다루며, 다양한 엣지 조건에 강건한 성능을 발휘한다.