[논문 리뷰] Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms

Janis Keuper, Franz‐Josef Pfreundt|arXiv (Cornell University)|2015. 05. 19.

Stochastic Gradient Optimization Techniques참고 문헌 14인용 수 8

한 줄 요약

이 논문은 확장 가능한 분산 기계 학습을 위한 잠금 없고 통신 최적화된 알고리즘인 이방향 병렬 확률적 경사 하강법(ASGD)을 제안한다. GASPI를 통한 이방향 통신과 마이너스 배치 업데이트를 활용함으로써 ASGD는 MapReduce 기반 및 동기식 방법에 비해 더 빠른 수렴 속도와 뛰어난 확장성을 확보한다. 1TB의 데이터를 포함한 대규모 K-평균 클러스터링 워크로드에서 속도와 안정성 측면에서 SimuParallelSGD와 BATCH를 모두 능가한다.

ABSTRACT

The implementation of a vast majority of machine learning (ML) algorithms boils down to solving a numerical optimization problem. In this context, Stochastic Gradient Descent (SGD) methods have long proven to provide good results, both in terms of convergence and accuracy. Recently, several parallelization approaches have been proposed in order to scale SGD to solve very large ML problems. At their core, most of these approaches are following a map-reduce scheme. This paper presents a novel parallel updating algorithm for SGD, which utilizes the asynchronous single-sided communication paradigm. Compared to existing methods, Asynchronous Parallel Stochastic Gradient Descent (ASGD) provides faster (or at least equal) convergence, close to linear scaling and stable accuracy.

연구 동기 및 목표

• 기존의 분산 메모리 시스템에서 MapReduce 기반 및 동기식 SGD 병렬화의 확장성 한계를 해결하기 위해.
• 통신 병목 현상과 잠금 메커니즘을 제거하여 대규모 기계 학습에서 빠르고 안정적인 수렴을 가능하게 하기 위해.
• 고통신 지연을 가진 분산 메모리 클러스터에 적합한 잠금 없는 이방향 통신 기반 설계를 하기 위해.
• 이방향 통신과 마이너스 배치 업데이트가 수렴 속도와 최적화 안정성에 미치는 영향을 평가하기 위해.
• 실제 대규모 데이터셋, 예를 들어 1TB의 합성 학습 데이터와 같은 환경에서 선형 확장성과 뛰어난 성능을 입증하기 위해.

제안 방법

• GASPI 프로그래밍 프레임워크를 기반으로 한 이방향 통신 모델을 사용하여 잠금을 제거하고 통신 오버헤드를 줄인다.
• 작은 배치(b=500)에서 기울기를 누적한 후 전역 모델을 업데이트하는 마이너스 배치 업데이트 전략을 사용하여 수렴 안정성을 향상시킨다.
• 공유된 모델 파라미터에 대해 분산 노드 간에 독립적이고 비차단적인 업데이트를 允가함으로써 동기화 지점이 없도록 한다.
• Parzen 창 함수는 지역 업데이트에 적합한 '좋은' 메시지를 선택하여 오직 관련 있는 기울기 기여만 적용되도록 보장한다.
• 최소한의 통신으로 조기 수렴을 지원하고, 최종 정확도 확보를 위해 MapReduce 유사한 감소 단계를 통해 최종 집계를 수행한다.
• 배치 크기 b를 통해 통신 빈도를 제어하며, 대역폭이 포화되지 않을 때 최적의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 이방향, 이방향 통신이 동기식 및 MapReduce 기반 접근 방식에 비해 분산 SGD의 수렴 속도와 확장성에 상당한 향상을 이끌 수 있는가?
• RQ2 마이너스 배치 업데이트 통합이 분산 환경에서 이방향 SGD의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ3 잠금 메커니즘이 없는 것이 대규모 기계 학습 워크로드에서 수렴성과 최적화 오차에 미치는 영향은 어느 정도인가?
• RQ4 수렴 속도와 통신 오버헤드를 균형 잡기 위해 최적의 통신 빈도(배치 크기 b로 제어)는 무엇인가?
• RQ5 조기 종료 조건에서도 기존 SGD 및 SimuParallelSGD에 비해 제안된 ASGD 방법이 정확도를 유지하거나 향상시키는가?

주요 결과

• ASGD는 SimuParallelSGD와 MapReduce 기반 BATCH보다 더 빠른 수렴 속도를 보이며, 1TB의 합성 데이터에서 수십 배의 속도 향상을 달성한다.
• 1024개의 CPU에서 선형 초과 확장성을 보이며, 통신이 많은 동기식 방법에 비해 뛰어난 성능을 보인다.
• ASGD는 SGD보다 최적화 오차가 더 안정적이고 분산이 적어 K-평균 결과에서 더 뛰어난 강건성을 보인다.
• 통신 대역폭을 초과할 경우 ASGD의 오버헤드는 30% 이상으로 증가하여 배치 크기 b를 하드웨어 한계에 맞게 조정하는 것이 중요함을 시사한다.
• 이방향 통신을 비활성화(침묵 모드)하면 조기 수렴 성능이 크게 악화되며, 이는 이방향 통신이 성능 향상의 핵심 요인임을 입증한다.
• 감소 단계를 통한 최종 집계는 정확도를 약간 향상시키지만, 이방향 방법만으로도 훨씬 낮은 지연으로 경쟁 가능한 결과를 달성한다.