[논문 리뷰] Advances in Asynchronous Parallel and Distributed Optimization

Mahmoud Assran, Arda Aytekin외 3명|arXiv (Cornell University)|2020. 06. 24.

Stochastic Gradient Optimization Techniques참고 문헌 87인용 수 8

한 줄 요약

이 논문은 대규모 머신러닝을 위한 이방향 병렬 및 분산 최적화의 이론과 실천을 발전시켜, 유한한 지연을 견디는 분산형 및 중심집중형 방법을 제안하며, 벽시계 시간 측면에서 동기화 대비 우수한 성능을 보인다. 이는 이방향 분산 방법(예: OSGP)이 동기화 블로킹을 제거함으로써, 특히 워커 수가 많고 네트워크 지연이 높을 경우 더 빠른 수렴을 달성할 수 있음을 보여준다.

ABSTRACT

Motivated by large-scale optimization problems arising in the context of machine learning, there have been several advances in the study of asynchronous parallel and distributed optimization methods during the past decade. Asynchronous methods do not require all processors to maintain a consistent view of the optimization variables. Consequently, they generally can make more efficient use of computational resources than synchronous methods, and they are not sensitive to issues like stragglers (i.e., slow nodes) and unreliable communication links. Mathematical modeling of asynchronous methods involves proper accounting of information delays, which makes their analysis challenging. This article reviews recent developments in the design and analysis of asynchronous optimization methods, covering both centralized methods, where all processors update a master copy of the optimization variables, and decentralized methods, where each processor maintains a local copy of the variables. The analysis provides insights as to how the degree of asynchrony impacts convergence rates, especially in stochastic optimization methods.

연구 동기 및 목표

• 스트래글러 효과와 통신 블로킹으로 인해 대규모 머신러닝에서 동기화 방법의 비효율성을 해결한다.
• 유한한 정보 지연을 견디며 수렴을 유지하는 이방향 최적화 알고리즘을 개발하고 분석한다.
• 벽시계 시간과 확장성 측면에서 이방향 분산 방법(예: OSGP)과 동기화 방법(예: AllReduce SGD)의 성능을 비교한다.
• 특히 확률적 최적화 설정에서 이방향성의 수렴 속도에 미치는 영향을 조사한다.
• 유한한 지연과 통신 그래프가 수렴에 미치는 영향에 대한 이론적 통찰을 제공하며, 비선형 업데이트에 대한 열린 과제를 규명한다.

제안 방법

• 각 프로세서가 변수의 로컬 복제본을 유지하고 전역 동기화 없이 이방향으로 업데이트하는 이방향 분산 최적화 프레임워크를 제안한다.
• 유한한 지연 모델을 사용하여 이방향성을 정량화하며, 정보 지연이 유한하고 알려져 있다고 가정함으로써 수렴 분석이 가능하게 한다.
• 지역 기울기 업데이트와 공약 기반 평균화를 사용하는 분산형 이방향 방법인 OSGP(Optimistic Stochastic Gradient Push) 알고리즘을 도입한다.
• 부분적인 이방향성 하에서 수렴을 분석하여, 유한한 지연이 목표 정확도에 대한 유한 시간 수렴을 가능하게 함을 보여준다.
• 전역 동기화가 필요 없도록, 지연되었지만 유한한 정보 모델을 통한 최적화 변수의 일관된 시각을 유지한다.
• 최대 32명의 워커(256개 GPU)를 사용하여 ResNet-50 학습에 대해 실증적으로 검증하며, 벽시계 시간과 반복 효율성을 비교한다.

실험 결과

연구 질문

• RQ1 유한한 이방향성은 확률적 환경에서 분산 최적화 알고리즘의 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 OSGP와 같은 이방향 분산 방법은 AllReduce SGD와 같은 동기화 방법보다 더 빠른 벽시계 수렴을 달성할 수 있는가?
• RQ3 분산 학습에서 워커 수가 증가함에 따라 통신 오버헤드와 동기화 비용은 어떻게 변화하는가?
• RQ4 비선형 기반 기울기 업데이트에 대해 기존의 수렴 분석이 분산 환경에 적용될 때의 한계는 무엇인가?
• RQ5 NUMA 아키텍처와 메모리 경쟁과 같은 하드웨어 특성은 이방향 최적화 알고리즘의 성능에 어떻게 영향을 미치는가?

주요 결과

• OSGP는 동기화 오버헤드를 제거함으로써, 워커 수가 증가할수록 AllReduce SGD에 비해 벽시계 학습 시간이 크게 단축된다.
• OSGP와 SGP의 반복당 시간은 워커 수가 증가함에 따라 거의 일정하지만, AllReduce SGD의 반복당 시간은 통신 비용 증가로 인해 증가한다.
• ImageNet에서 ResNet-50을 학습하는 과정에서, OSGP는 반복 기반 수렴 속도가 느리더라도 벽시계 시간 측면에서 AllReduce SGD보다 더 빠르게 수렴한다.
• 동기화 방법보다 더 나은 확장성을 보이며, 4에서 32명의 워커(128에서 256개 GPU)로 확장할 때 일관된 성능 향상을 보였다.
• 실증 결과에 따르면, OSGP는 워커 간에 낮은 분산을 유지하며 안정적인 학습 손실을 기록하여 이방향성과 통신 지연에 대한 강건성을 보였다.
• 이론적 분석을 통해 이방향 업데이트에서 유한한 지연이 유한 시간 수렴을 가능하게 함을 확인하였으며, 실세계 시스템에 실용적으로 도입할 수 있는 기반을 제공한다.