[논문 리뷰] Stochastic Distributed Learning with Gradient Quantization and Variance Reduction

Samuel Horváth, Dmitry Kovalev외 3명|arXiv (Cornell University)|2019. 04. 10.

Stochastic Gradient Optimization Techniques참고 문헌 56인용 수 81

한 줄 요약

본 논문은 임의의 편향되지 않은 그래디언트 양자화가 가능한 DIANA형 분산 최적화 알고리즘을 개발하고, 양자화된 통신에서도 선형 수렴을 임의 정확도까지 달성하는 분산-합성 감소(var-variance reduced) 변형을 도입합니다. 또한 강결정성, 볼록성, 비볼록성 영역에 걸친 이론적 보장을 제시하고 실험을 통해 개선점을 검증합니다.

ABSTRACT

We consider distributed optimization where the objective function is spread among different devices, each sending incremental model updates to a central server. To alleviate the communication bottleneck, recent work proposed various schemes to compress (e.g.\ quantize or sparsify) the gradients, thereby introducing additional variance $ω\geq 1$ that might slow down convergence. For strongly convex functions with condition number $κ$ distributed among $n$ machines, we (i) give a scheme that converges in $\mathcal{O}((κ+ κ\fracω{n} + ω)$ $\log (1/ε))$ steps to a neighborhood of the optimal solution. For objective functions with a finite-sum structure, each worker having less than $m$ components, we (ii) present novel variance reduced schemes that converge in $\mathcal{O}((κ+ κ\fracω{n} + ω+ m)\log(1/ε))$ steps to arbitrary accuracy $ε> 0$. These are the first methods that achieve linear convergence for arbitrary quantized updates. We also (iii) give analysis for the weakly convex and non-convex cases and (iv) verify in experiments that our novel variance reduced schemes are more efficient than the baselines.

연구 동기 및 목표

• 커뮤니케이션 병목 문제를 해결하기 위해 그래디언트 업데이트를 압축하되 수렴성을 희생하지 않는 방법을 제시한다.
• 일반적이고 편향되지 않은 설정에서 그래디언트 양자화를 확장하고 수렴 경계를 증명한다.
• 볼록 및 강볼록 설정에서 최적점으로 수렴하는 분산-양자화 알고리즘을 소개하고(일부 영역은 최적점으로 수렴, 아니면 근처가 아님)
• 강결정성, 볼록성, 비볼록성 영역 전반에 걸친 이론적 분석을 제공한다.
• 제안 방법을 기준선과 비교하여 커뮤니케이션 효율성과 성능을 실험적으로 입증한다.

제안 방법

• 임의의 omega-양자화 연산자를 사용하여 그래디언트 업데이트를 압축하면서 편향성을 유지하는 DIANA 프레임워크를 채택한다.
• 작업자(local) 누적기 h_i^k를 활용하고 양자화된 그래디언트 차이로 업데이트하여 분산을 감소시킨다.
• 적절한 스텝 사이즈와 리야노프(Lyapunov) 함수로 omega-양자화 하에서 선형 수렴을 보이고 반복 횟수 경계를 도출한다.
• S V R G, S A G A, L-SVRG를 기반으로 한 분산-감소(VR-DIANA) 확장으로 양자화 업데이트 및 각 작업자 그래디언트 표 또는 에포크 그래디언트를 사용한다.
• 강결정성의 경우 선형 수렴과 커뮤니케이션 절감이 있는 세 가지 변형(SVRG기반, SAGAbased, L-SVRG-based)을 제시하고, 볼록/비볼록의 경우에는 O(1/k) 수렴을 보이고 커뮤니케이션 절감치를 정량화한다.
• 다양한 양자화 연산자(랜덤 디더링, 희소화, 블록 양자화)와 그들이 omega 및 수렴에 미치는 영향을 논의하고 모델링한다.

실험 결과

연구 질문

• RQ1 임의의 편향되지 않은 그래디언트 양자화를 분산 최적화에 통합해도 수렴 보장이 유지되는가?
• RQ2 분산-양자화된 감소 방법들이 강결정성, 볼록성, 비볼록성 문제에서 최적점으로 선형 수렴하는가?
• RQ3 실무에서 양자화 파라미터 omega가 수렴 속도와 통신 비용에 어떤 영향을 주는가?
• RQ4 VR-DIANA 변형들의 유한합 및 비합산 목적에서 반복 복잡도와 통신 절감의 비교 트레이드오프는 어떻게 되는가?
• RQ5 실험 결과가 양자화 및 분산-감소의 이론적 이점을 현실 데이터셋에서 지지하는가?

주요 결과

• omega-양자화가 가능한 DIANA는 적절한 스텝사이즈 하에서 강결정성 문제에 대해 최적점으로의 선형 수렴을 달성한다.
• VR-DIANA를 포함한 분산-양자화 방식은 kappa, omega, n, m에 의존하는 속도로 임의 정확도까지 수렴하며, omega가 잘 제어되면 비양자화 속도와 일치할 수 있다.
• 유한합 설정에서 VR-DIANA 변형은 강결정성에서 선형 수렴 및 볼록/비볼록에서 각각 O(1/k)의 수렴을 보이고 양자화로 인한 통신 비용을 감소시킨다.
• 보조 변수 h_i^k와 그래디언트 차이 양자화는 그래디언트가 압축되더라도 효과적인 분산 감소를 가능하게 한다.
• 실험은 VR-DIANA 변형이 기준선과 비슷한 반복으로 동작하면서도 total communication을 크게 줄임을 보여주며, 특히 통신이 병목인 경우에 두드러진다.
• 양자화 체계(예: 디더링, 희소화, 블록 양자화)를 선택하는 구체적 가이드를 제시하여 수렴과 통신의 균형을 맞춘다.