[논문 리뷰] Quantized Decentralized Stochastic Learning over Directed Graphs

Hossein Taheri, Aryan Mokhtari외 2명|arXiv (Cornell University)|2020. 02. 23.

Cooperative Communication and Network Coding인용 수 34

한 줄 요약

논문은 quantized push-sum 기반의 분산 학습을 directed graphs에서 도입하여, 정확한 통신 방법과 동일한 수렴 속도를 달성하면서도 통신을 크게 줄입니다. 또한 convex 및 non-convex 목적에 대해 증명 가능한 수렴을 보장하는 gossip 및 stochastic optimization 알고리즘을 제공합니다.

ABSTRACT

We consider a decentralized stochastic learning problem where data points are distributed among computing nodes communicating over a directed graph. As the model size gets large, decentralized learning faces a major bottleneck that is the heavy communication load due to each node transmitting large messages (model updates) to its neighbors. To tackle this bottleneck, we propose the quantized decentralized stochastic learning algorithm over directed graphs that is based on the push-sum algorithm in decentralized consensus optimization. More importantly, we prove that our algorithm achieves the same convergence rates of the decentralized stochastic learning algorithm with exact-communication for both convex and non-convex losses. Numerical evaluations corroborate our main theoretical results and illustrate significant speed-up compared to the exact-communication methods.

연구 동기 및 목표

• 데이터가 node 간에 연결된 방향 그래프에 분산되어 있을 때 분산 학습의 필요성을 논의한다.
• 가십(gossip) 및 분산 SGD를 위한 quantized, 통신 효율적 알고리즘을 push-sum 기반으로 제안한다.
• 볼록 및 비볼록 손실에 대해 정확한 통신 방식과 일치하는 수렴 보장을 확립한다.
• 수치 실험을 통해 양자화와 정확한 통신 push-sum 간의 통신 속도 개선을 크게 보여준다.

제안 방법

• column-stochastic 가중치를 갖는 방향 그래프에 push-sum 합의 프레임워크를 확장한다.
• 전송 업데이트의 양자화를 도입하여 수렴을 유지하면서 통신 부하를 감소시킨다.
• Algorithm 1 for Quantized Gossip over Directed Graphs와 Algorithm 2 for Quantized Decentralized SGD over Directed Graphs를 개발한다.
• 수렴 결과를 입증한다: quantization이 포함된 Gossip는 quantization error에 의해 영향받는 lambda와 delta에 의해 지배되는 속도로 수렴하며, 정확한 push-sum과 일치한다.
• 볼록 목표의 경우, 시간 평균 목적이 O(1/sqrt(nT))의 속도로 수렴한다; 비볼록 목표의 경우, 제곱 그래디언트 노름이 O(1/sqrt(nT))의 속도로 수렴한다.
• 양자화와 정확한 통신 push-sum 간의 비교를 수치 실험으로 제시하고, 비트 단위의 통신 속도 향상과 성능을 강조한다.

실험 결과

연구 질문

• RQ1 양자화된 push-sum 기반의 방향 그래프 분산 최적화에서 정확한 통신 방법과 동일한 수렴 속도를 달성할 수 있는가?
• RQ2 강하게 연결된 방향 그래프에서 양자화된 메시지를 사용할 때 gossip 및 분산 SGD의 수렴 보장은 무엇인가?
• RQ3 양자화가 볼록 및 비볼록 설정에서 수렴 상수 및 실제 통신 효율성에 어떻게 영향을 미치는가?
• RQ4 방향 그래프 토폴로지와 양자화 노이즈가 수렴 속도에 어떠한 영향을 주는가, 그리고 그 영향은 얼마나 큰가?
• RQ5 실제 실험에서 전송 비트 수와 수렴 속도 간의 트레이드오프는 어떻게 나타나는가?

주요 결과

• 양자화된 gossip는 그래프 매개변수 및 양자화 수준에 따라 달라지는 속도로 초기 평균으로 수렴한다.
• 볼록 목표의 경우, 제안된 양자화된 분산 SGD는 평균화된 목적에 대해 O(1/√(nT))의 수렴 속도를 달성한다.
• 비볼록 목표의 경우, 제안된 체계에서 그래디언트 노름은 O(1/√(nT))의 속도로 0으로 수렴한다.
• 양자화 노이즈는 점근적으로 소멸하고 정확한 통신 push-sum에 비해 상당한 통신 절감을 제공한다(실험에서 최대 5–10x).
• 실험에서 간단한 그래프에서 정확한 방법과 비슷한 반복당 성능을 보이며, 전달되는 전체 비트 수가 크게 감소한다.
• 이론적 결과는 수렴 속도 한계가 양자화 및 그래프 구조의 영향으로 인해 정확한 통신의 한계와 일치함을 보여준다.