[논문 리뷰] A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction

Fan Zhou, Guojing Cong|arXiv (Cornell University)|2019. 03. 12.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 11

한 줄 요약

이 논문은 비볼록 문제에 대해 표준 수렴 속도를 달성하면서도, 희박한 전역 파라미터 평균화 이전에 인접한 워커들 간의 국소 평균화를 도입하여 통신 오버헤드를 줄이는 분산 계층적 SGD 알고리즘인 Hier-AVG를 제안한다. 이 방법은 K-AVG보다 더 빠른 훈련 속도와 더 높은 테스트 정확도를 달성하며, 대규모 분산 학습 시스템에서 국소 통신과 전역 통신을 효과적으로 교환할 수 있다.

ABSTRACT

Reducing communication in training large-scale machine learning applications on distributed platform is still a big challenge. To address this issue, we propose a distributed hierarchical averaging stochastic gradient descent (Hier-AVG) algorithm with infrequent global reduction by introducing local reduction. As a general type of parallel SGD, Hier-AVG can reproduce several popular synchronous parallel SGD variants by adjusting its parameters. We show that Hier-AVG with infrequent global reduction can still achieve standard convergence rate for non-convex optimization problems. In addition, we show that more frequent local averaging with more participants involved can lead to faster training convergence. By comparing Hier-AVG with another popular distributed training algorithm K-AVG, we show that through deploying local averaging with fewer number of global averaging, Hier-AVG can still achieve comparable training speed while frequently get better test accuracy. This indicates that local averaging can serve as an alternative remedy to effectively reduce communication overhead when the number of learners is large. Experimental results of Hier-AVG with several state-of-the-art deep neural nets on CIFAR-10 and IMAGENET-1K are presented to validate our analysis and show its superiority.

연구 동기 및 목표

• 전역 파라미터 평균화 빈도를 줄임으로써 대규모 분산 기계 학습에서 높은 통신 비용을 해결하기 위해.
• 수렴 보장을 유지하면서 전역 통신을 최소화하는 확장 가능한 계층적 SGD 프레임워크를 개발하기 위해.
• 희귀한 전역 감소를 대체하기 위해 국소 평균화가 효과적으로 기능할 수 있는지, 훈련 속도나 정확도를 희생시키지 않고도 가능할지 입증하기 위해.
• 계층적 평균화 하에서 비볼록 최적화에 대한 수렴에 대한 이론적 경계를 제공하기 위해.
• 최신 딥 뉴럴 네트워크를 사용하여 CIFAR-10과 ImageNet-1K에서 K-AVG에 비해 Hier-AVG의 우수성을 실증적으로 검증하기 위해.

제안 방법

• Hier-AVG는 워커들이 전역 평균화 이전에 인접한 워커들과 다수의 국소 평균화 단계를 수행하는 계층적 통신 구조를 도입한다.
• 알고리즘은 희박한 전역 감소를 사용하는 블록 동기식 병렬 처리 방식을 사용하여 전역 통신 오버헤드를 줄인다.
• 국소 평균화는 나무 구조 또는 클러스터 기반의 토폴로지에서 수행되어 국소 그룹 내에서 효율적인 기울기 교환을 가능하게 한다.
• 알고리즘은 국소 평균화와 전역 평균화를 번갈아가며 기울기의 오래됨을 제어하여 안정성과 수렴성을 확보한다.
• 이론적 분석을 통해 다양한 척도에서 기대 제곱 기울기 노름에 대한 비점근적 경계를 유도하여 표준 수렴 속도에 수렴함을 보였다.
• 프레임워크는 파rameter 조정을 통해 K-AVG와 ASGD를 포함한 여러 기존 병렬 SGD 변종을 일반화한다.

실험 결과

연구 질문

• RQ1 계층적 SGD 프레임워크에서 희박한 전역 평균화가 비볼록 최적화 문제에 대해 여전히 표준 수렴 속도를 달성할 수 있는가?
• RQ2 더 많은 참가자와 함께 더 빈번한 국소 평균화를 적용할 경우 훈련 수렴 속도와 테스트 정확도에 어떤 영향을 미치는가?
• RQ3 국소 평균화가 훈련 성능을 저하시키지 않고도 전역 통신 빈도를 효과적으로 줄일 수 있는가?
• RQ4 동일한 전역 감소 빈도에서 Hier-AVG는 K-AVG에 비해 훈련 속도와 테스트 정확도에서 어떻게 다른가?
• RQ5 국소 평균화 구조, 전역 감소 빈도, 수렴 경계 사이의 이론적 관계는 무엇인가?

주요 결과

• 희박한 전역 평균화를 사용하는 Hier-AVG는 기대 제곱 기울기 노름에 대한 유도된 비점근적 경계를 통해 비볼록 최적화 문제에 대해 표준 수렴 속도를 달성함을 입증했다.
• 더 큰 국소 그룹에서 더 빈번한 국소 평균화는 K-AVG보다 더 빠른 훈련 수렴 속도와 일관되게 높은 테스트 정확도를 제공한다.
• 효과적인 국소 평균화를 통해 전역 통신 빈도를 줄임으로써 Hier-AVG는 K-AVG와 유사한 훈련 속도를 유지하면서 더 높은 테스트 정확도를 달성한다.
• 이론적 분석은 국소 평균화 빈도와 국소 그룹 크기가 증가할수록 Hier-AVG의 훈련 속도가 향상됨을 보여준다.
• CIFAR-10과 ImageNet-1K에서의 실증 결과는 여러 딥 뉴럴 네트워크 아키텍처에서 Hier-AVG가 K-AVG보다 테스트 정확도와 통신 효율성 면에서 뛰어나다는 것을 보여주었다.
• 경계 분석은 특히 고통신 환경에서 국소 평균화를 사용할 경우 Hier-AVG의 수렴 성능가 K-AVG보다 뛰어나다는 것을 확인했다.