[논문 리뷰] The Convergence of Sparsified Gradient Methods

Dan Alistarh, Torsten Hoefler외 4명|arXiv (Cornell University)|2018. 09. 27.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 13

한 줄 요약

이 논문은 분산 SGD에서 TopK 기울기 희소화에 대한 최초의 이론적 수렴 보장을 제공하며, 국소적 오차 보정을 통해 크기 기반으로 상위-K 기울기 성분을 선택함으로써 볼록 및 비볼록 매끄러운 목표 함수에 대해 수렴을 보장한다. 이 방법은 크기 기반 선택을 통해 업데이트의 오래됨을 암묵적으로 제한하며, 통신을 최대 600배 줄이면서도 모델 정확도를 유지한다.

ABSTRACT

Distributed training of massive machine learning models, in particular deep neural networks, via Stochastic Gradient Descent (SGD) is becoming commonplace. Several families of communication-reduction methods, such as quantization, large-batch methods, and gradient sparsification, have been proposed. To date, gradient sparsification methods - where each node sorts gradients by magnitude, and only communicates a subset of the components, accumulating the rest locally - are known to yield some of the largest practical gains. Such methods can reduce the amount of communication per step by up to three orders of magnitude, while preserving model accuracy. Yet, this family of methods currently has no theoretical justification. This is the question we address in this paper. We prove that, under analytic assumptions, sparsifying gradients by magnitude with local error correction provides convergence guarantees, for both convex and non-convex smooth objectives, for data-parallel SGD. The main insight is that sparsification methods implicitly maintain bounds on the maximum impact of stale updates, thanks to selection by magnitude. Our analysis and empirical validation also reveal that these methods do require analytical conditions to converge well, justifying existing heuristics.

연구 동기 및 목표

• 실제로 널리 사용되고 있지만 공식적인 수렴 보장이 없는 기울기 희소화 방법에 대한 이론적 근거를 제공하기 위해.
• 상위-K 기울기 성분만 통신하는 TopK SGD의 수렴 행동을 볼록 및 비볼록 매끄러운 목표 함수 하에서 분석하기 위해.
• 희소화 방법이 수렴하기 위한 분석 조건을 규명하여, 학습률 조정 및 기울기 클리핑과 같은 히وري스틱이 필요한 이유를 설명하기 위해.
• TopK SGD와 이방향 SGD 간의 관계를 설정하여, 크기 기반 선택이 암묵적으로 업데이트의 오래됨을 제한함을 보여주기 위해.
• 실제 기울기 분포를 고려한 현실적인 조건 하에서 희소화된 SGD의 수렴 속도에 대한 비잔성 상한을 유도하기 위해.

제안 방법

• TopK SGD는 각 노드에서 현재 모델 파ram에 기반해 기울기 성분 중 크기가 가장 큰 K개를 선택하고, 이들 성분만 통신한다.
• 통신되지 않은 기울기 성분은 국소적으로 오차 벡터에 누적되며, 이후 기울기의 자르기 전에 이 오차 벡터가 추가된다.
• 이 방법은 초과 기대 진전을 제한하기 위해 슈퍼마르팅게일 기반 분석을 사용하며, 이는 두 번째 모멘트 조건과 리프시츠 조건을 포함한다.
• 수렴은 유계 기울기 분산과 목표 함수의 매끄러움과 같은 분석적 가정 하에서 증명된다.
• 분석 결과, TopK SGD는 업데이트 오래됨에 대해 암묵적이고 크기 기반의 제한을 가진 이방향 SGD 변종과 유사하게 행동함을 보여준다.
• 전체 기울기와 그 상위-K 성분 간의 노름 간격에 대한 최악의 경우 상한을 사용하지만, 실증적 증거는 이러한 간격이 실제로는 흔히 더 작다는 것을 시사한다.

실험 결과

연구 질문

• RQ1 TopK 선택을 통한 기울기 희소화는 분산 SGD에 대해 공식적인 수렴 보장을 제공하는가?
• RQ2 특히 비볼록 설정에서 TopK SGD가 수렴하기 위해 필요한 분석 조건은 무엇인가?
• RQ3 수렴 속도와 통신 효율성 측면에서 TopK SGD는 이방향 SGD 및 양자화된 SGD와 어떻게 비교되는가?
• RQ4 왜 실용적인 히وري스틱인 기울기 클리핑과 학습률 조정이 TopK 방법에서 수렴을 향상시키는가?
• RQ5 실증적 기울기 분포(예: 정규분포 또는 비대칭 분포)가 TopK SGD의 이론적 상한과 실제 성능에 얼마나 영향을 미치는가?

주요 결과

• 표준 분석적 가정(유계 기울기 분산, 리프시츠 연속성 포함) 하에서 TopK SGD는 볼록 및 비볼록 매끄러운 목표 함수에 대해 수렴함을 보였다.
• 최악의 경우 수렴 속도는 O(√n)의 요소로 제한되며, K=√n일 때 QSGD와 같은 스트로스틱 양자화 방법의 느려짐과 일치한다.
• K = cn이며 c > 1/2일 경우, 기울기 분포가 성분들 사이에 균일하게 퍼져 있지 않다면, 표준 SGD와 수렴 속도가 유사해진다.
• 실증 결과는 기울기 노름이 상위 성분에 집중되어 있음을 보여주며, 이는 최악의 노름 간격 상한이 실제로는 흔히 지나치게 낙관적으로 평가된다는 것을 시사한다.
• 크기 기반 선택을 통해 업데이트 오래됨을 암묵적으로 제한함으로써, 이방향 SGD와 달리 더 안정적인 성능을 보인다.
• 학습률 조정과 기울기 클리핑은 수렴을 보장하기 위해 분석적으로 필수적이며, 이는 실무에서의 사용를 정당화한다.