[논문 리뷰] Sparsified SGD with Memory

Sebastian U. Stich, Jean-Baptiste Cordonnier외 1명|arXiv (Cornell University)|2018. 09. 20.

Stochastic Gradient Optimization Techniques인용 수 233

한 줄 요약

이 논문은 k-스파르시피케이션과 오차 보상 메모리를 이용한 SGD를 분석하고, 통신을 크게 줄이면서도 일반 SGD와 같은 수렴 속도로 수렴한다는 것을 증명한다.

ABSTRACT

Huge scale machine learning problems are nowadays tackled by distributed optimization algorithms, i.e. algorithms that leverage the compute power of many devices for training. The communication overhead is a key bottleneck that hinders perfect scalability. Various recent works proposed to use quantization or sparsification techniques to reduce the amount of data that needs to be communicated, for instance by only sending the most significant entries of the stochastic gradient (top-k sparsification). Whilst such schemes showed very promising performance in practice, they have eluded theoretical analysis so far. In this work we analyze Stochastic Gradient Descent (SGD) with k-sparsification or compression (for instance top-k or random-k) and show that this scheme converges at the same rate as vanilla SGD when equipped with error compensation (keeping track of accumulated errors in memory). That is, communication can be reduced by a factor of the dimension of the problem (sometimes even more) whilst still converging at the same rate. We present numerical experiments to illustrate the theoretical findings and the better scalability for distributed applications.

연구 동기 및 목표

• 대규모 학습을 위한 분산 SGD에서 통신 축소의 필요성을 제시한다.
• 희소화된 업데이트와 함께 기억 기반 오차 보상 메커니즘을 도입한다.
• k-수축 연산자 하에서 메모리가 있는 SGD의 수렴을 증명한다.
• 상위 k 및 임의 k 희소화가 바닐라 SGD 속도와 일치할 수 있음을 보인다.
• 다중 코어 구성을 통한 실용적 확장성을 실험으로 입증한다.

제안 방법

• 전송되는 업데이트를 감소시키는 k-수축 압축 연산자를 정의한다.
• 억눌린 그래디언트 정보를 축적하고 이후 반복에서 주입하기 위해 메모리 m_t를 도입한다.
• 업데이트 g_t = comp_k(m_t + η_t ∇f_i_t(x_t))와 메모리 업데이트 m_{t+1} = m_t + η_t ∇f_i_t(x_t) - g_t로 Mem-SGD를 구성한다.
• 특정 스텝 크기 η_t = 8 / (μ(a+t))에서 평균 반복 x̄_T에 대한 수렴 경계를 증명한다.
• T = Ω(d/k · sqrt(κ))일 때 이 방법이 바닐라 SGD와 같은 속도를 달성함을 보이며, 여기서 κ = L/μ.
• 다중 코어 구성용 공유 메모리 기반의 병렬 Mem-SGD 변형으로 확장하는 것을 옵션으로 제시한다.

실험 결과

연구 질문

• RQ1 k-스파르시피케이션과 메모리를 갖는 SGD가 바닐라 SGD의 수렴 속도를 유지하는가?
• RQ2 상위-k 및 rand-k 연산자에서 메모리 보상이 분산 및 수렴에 어떤 영향을 미치는가?
• RQ3 수렴과 통신에 대한 압축 수준 k의 이론적·실용적 영향은 무엇인가?
• RQ4 속도를 희생하지 않고 병렬/공유 메모리 환경에서 Mem-SGD가 확장될 수 있는가?

주요 결과

• 적절한 스텝 크기에서 0<k≤d일 때 Mem-SGD는 바닐라 SGD와 같은 속도로 수렴한다.
• 수렴 속도 표현은 d^2/k^2 및 d^3/k^3에 비례하는 항을 포함하지만, 적절한 평균화로 그 속도는 SGD와 일치한다.
• 상위-k 희소화는 일반적으로 순차 실험에서 rand-k보다 우수하며 통신 효율을 크게 향상시킨다.
• 병렬 Mem-SGD는 다중 코어 실험에서 선형 스피드업을 달성하고 수렴을 유지하면서 통신을 줄인다.
• 실험 결과 Mem-SGD가 유사 정확도에서 QSGD보다 수 차례 적은 비트를 전송한다.
• 밀집 데이터의 경우 top-1 희소화가 SGD에 비해 약 10^3배의 통신 감소를, 희소 데이터의 경우 top-10이 약 10배의 감소를 보인다.