[논문 리뷰] Gradient Scheduling with Global Momentum for Non-IID Data Distributed Asynchronous Training

Chengjie Li, Ruixuan Li외 5명|arXiv (Cornell University)|2019. 02. 21.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 10

한 줄 요약

이 논문은 비IIDs 데이터 조건 하에서 분산 비동기 학습을 위한 새로운 알고리즘인 그래디언트 스케줄링과 글로벌 모멘타임(GSGM)을 제안한다. 그래디언트 스케줄링과 글로벌 모멘타임, 로컬 평균화를 조합함으로써 GSGM은 엣지 기반 분산, 비IIDs 데이터에서 학습을 안정화시키며, CIFAR-10과 Fashion-MNIST에서 20%의 학습 안정성 향상을, 고규모 분산 환경에서의 CIFAR-100에서는 37%의 향상을 달성한다. 또한 30개의 노드에서도 수렴을 유지한다.

ABSTRACT

Distributed asynchronous offline training has received widespread attention in recent years because of its high performance on large-scale data and complex models. As data are distributed from cloud-centric to edge nodes, a big challenge for distributed machine learning systems is how to handle native and natural non-independent and identically distributed (non-IID) data for training. Previous asynchronous training methods do not have a satisfying performance on non-IID data because it would result in that the training process fluctuates greatly which leads to an abnormal convergence. We propose a gradient scheduling algorithm with partly averaged gradients and global momentum (GSGM) for non-IID data distributed asynchronous training. Our key idea is to apply global momentum and local average to the biased gradient after scheduling, in order to make the training process steady. Experimental results show that for non-IID data training under the same experimental conditions, GSGM on popular optimization algorithms can achieve a 20% increase in training stability with a slight improvement in accuracy on Fashion-Mnist and CIFAR-10 datasets. Meanwhile, when expanding distributed scale on CIFAR-100 dataset that results in sparse data distribution, GSGM can perform a 37% improvement on training stability. Moreover, only GSGM can converge well when the number of computing nodes grows to 30, compared to the state-of-the-art distributed asynchronous algorithms. At the same time, GSGM is robust to different degrees of non-IID data.

연구 동기 및 목표

• 비IIDs 데이터 분포 하에서 분산형 엣지 기반 시스템에서 딥 러닝 모델을 학습하는 데 도전 과제를 해결한다.
• 기존의 비동기 학습 방법이 비IIDs 데이터 분포 하에서 보이는 불안정성과 열악한 수렴 문제를 극복한다.
• 계산 노드 수가 증가함에 따라 성능을 유지하는 확장성 있고 견고한 최적화 알고리즘을 개발한다.
• 다양한 수준의 데이터 편향이 존재하는 분산 엣지 환경에서 수렴성과 안정성을 확보한다.

제안 방법

• 업데이트 이전에 그래디언트를 재조정하고 균형을 맞추기 위해 그래디언트 스케줄링을 도입하여 비IIDs 데이터에서 발생하는 편향을 감소시킨다.
• 스케줄링된 그래디언트에 글로벌 모멘타임을 적용하여 최적화 경로를 부드럽게 하고 변동성을 줄인다.
• 각 워커 내에서 그래디언트의 로컬 평균화를 수행하여 추가로 분산을 감소시키고 업데이트를 안정화시킨다.
• 스케줄링된 그래디언트와 글로벌 모멘타임을 조합하여 비동기 시스템에서 안정적이고 확장 가능한 학습 프로세스를 구축한다.
• 다양한 수준의 데이터 편향과 증가하는 노드 수에 대해 견고한 알고리즘 설계를 한다.
• 아키텍처 변경 없이 표준 최적화 프레임워크에 방법을 통합한다.

실험 결과

연구 질문

• RQ1 그래디언트 스케줄링과 글로벌 모멘타임을 조합하면 분산 비동기 학습에서 비IIDs 데이터에 대한 학습 안정성을 향상시킬 수 있는가?
• RQ2 스케일이 증가함에 따라, 특히 데이터가 노드 간에 희박해질 경우 GSGM의 성능은 어떻게 되는가?
• RQ3 기존 최첨단 방법들과 달리, 계산 노드 수가 30개로 증가할 때 GSGM은 수렴을 유지하는가?
• RQ4 다양한 수준의 데이터 비IIDs성에서 GSGM은 기존 알고리즘과 비교해 정확도와 안정성 측면에서 어떻게 성능을 내는가?
• RQ5 GSGM은 Fashion-MNIST, CIFAR-10, CIFAR-100과 같은 다양한 데이터셋에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• 기본 방법과 동일한 실험 조건 하에서 GSGM은 Fashion-MNIST와 CIFAR-10에서 20%의 학습 안정성 향상을 달성한다.
• 확장된 분산 스케일로 인해 데이터가 희박해지는 CIFAR-100 환경에서는 GSGM이 학습 안정성에서 37%의 향상을 보인다.
• 30개의 계산 노드로 증가할 때 수렴을 달성하는 유일한 최첨단 알고리즘으로 GSGM이 입증된다.
• GSGM은 다양한 수준의 비IIDs 데이터 편향에서도 안정적인 학습 성능을 유지하며, 데이터 편향에 대한 견고함을 보여준다.
• 정확도는 약간 향상되면서도 안정성 향상이 두드러지므로 균형 잡힌 최적화 과정임을 시사한다.
• 그래디언트 스케줄링과 글로벌 모멘타임의 통합은 비IIDs 환경에서 발생하는 편향된 그래디언트로 인한 불안정성을 효과적으로 완화한다.