[논문 리뷰] SPARQ-SGD: Event-Triggered and Compressed Communication in Decentralized Stochastic Optimization

Navjot Singh, Deepesh Data외 2명|arXiv (Cornell University)|2019. 10. 31.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 13

한 줄 요약

SPARQ-SGD는 분산 최적화를 위한 이벤트 기반, 압축된 통신 프레임워크를 제안하며, 노드들은 적어도 H개의 로컬 스텝 이후에 중요한 파라미터 변화가 발생할 경우에만 양자화되고 희소화된 모델 업데이트를 전송합니다. 이 방법은 강력한 볼록성의 경우 $O(1/nT)$, 비볼록성의 경우 $O(1/\sqrt{nT})$의 수렴 속도를 달성하여, 공격적인 압축과 이벤트 기반 통신이 수렴 성능을 떨어뜨리지 않음을 입증하며, 성능 손실 없이 통신 효율성을 확보합니다.

ABSTRACT

In this paper, we propose and analyze SPARQ-SGD, which is an event-triggered and compressed algorithm for decentralized training of large-scale machine learning models. Each node can locally compute a condition (event) which triggers a communication where quantized and sparsified local model parameters are sent. In SPARQ-SGD each node takes at least a fixed number ($H$) of local gradient steps and then checks if the model parameters have significantly changed compared to its last update; it communicates further compressed model parameters only when there is a significant change, as specified by a (design) criterion. We prove that the SPARQ-SGD converges as $O(\frac{1}{nT})$ and $O(\frac{1}{\sqrt{nT}})$ in the strongly-convex and non-convex settings, respectively, demonstrating that such aggressive compression, including event-triggered communication, model sparsification and quantization does not affect the overall convergence rate as compared to uncompressed decentralized training; thereby theoretically yielding communication efficiency for "free". We evaluate SPARQ-SGD over real datasets to demonstrate significant amount of savings in communication over the state-of-the-art.

연구 동기 및 목표

• 분산 머신러닝에서 높은 통신 비용을 해결하기 위해 이벤트 기반 통신과 모델 압축을 융합하는 것.
• 수렴 속도를 희생시키지 않고 분산 학습에서의 부과적 통신를 줄이는 것.
• 이벤트 기반, 압축된 분산 SGD 알고리즘의 수렴 행동을 이론적으로 분석하는 것.
• 실제 데이터셋에서 최신 기술 대비 상당한 통신 절감 효과를 입증하는 것.

제안 방법

• 각 노드는 통신 이후로 적어도 H개의 로컬 기울기 스텝을 수행한 후, 마지막 통신 이후 모델 파라미터의 변화가 크지 않은지 확인합니다.
• 로컬 트리거 조건이 통신 여부를 결정하며, 변화가 사전 정의된 임계값을 초과할 경우에만 통신이 발생합니다.
• 트리거가 발생하면, 노드들은 희소화(상위-k 항목)와 양자화(이산화된 값)를 모두 사용하여 모델 파라미터의 압축된 버전을 전송합니다.
• 이 알고리즘은 이벤트 기반 통신과 모델 압축을 통합하여, 기존의 분산 환경에서의 연구를 분산 그래프 환경으로 확장합니다.
• 기울기와 노이즈에 대한 표준 가정 하에, 강력한 볼록성과 부드러운 비볼록 목표 함수에 대해 수렴 분석을 수행합니다.
• 리아푸노프 스타일의 분석을 통해 통신 압축과 이벤트 트리거링이 점점 수렴 속도에 영향을 주지 않음을 이론적으로 도출합니다.

실험 결과

연구 질문

• RQ1 이벤트 기반 통신과 압축을 조합해도 압축되지 않은 분산 SGD와 동일한 수렴 속도를 유지할 수 있는가?
• RQ2 희소화, 양자화, 이벤트 트리거링의 조합이 분산 최적화에서 수렴에 어떤 영향을 미치는가?
• RQ3 SPARQ-SGD는 기존의 압축 또는 드문 드문한 통신 방법에 비해 이론적으로 얼마나 높은 통신 효율성을 확보하는가?
• RQ4 스토케스틱 기울기 하에서 비볼록 목표 함수에 대해 수렴 보장을 유지하는가?
• RQ5 실제 환경에서 네트워크 크기와 통신 제약 조건에 따라 SPARQ-SGD의 성능은 어떻게 스케일링되는가?

주요 결과

• SPARQ-SGD는 강력한 볼록성 설정에서 $O(1/nT)$의 수렴 속도를 달성하며, 압축되지 않은 분산 SGD와 동일한 속도를 확보합니다.
• 비볼록 설정에서는 $O(1/\sqrt{nT})$의 속도로 수렴하며, 공격적인 압축과 이벤트 트리거링이 수렴을 떨어뜨리지 않음을 확인합니다.
• 이론적 분석을 통해 통신 압축과 이벤트 트리거링이 수렴에 부정적 영향을 주지 않음을 입증하며, '무료로 통신 효율성 확보'가 가능함을 보여줍니다.
• 실제 데이터셋에 대한 실험 평가에서 최신 기술 대비 상당한 통신 절감 효과를 입증합니다.
• 트리거링 조건이 적절히 설계되어 있다면, 양자화와 희소화가 적용된 상태에서도 수렴이 유지됨을 확인합니다.
• 스토케스틱 기울기 하에서의 수렴 경계를 통해 알고리즘의 노이즈 및 비i.i.d. 데이터에 대한 강건성을 입증합니다.