[논문 리뷰] $ exttt{DeepSqueeze}$: Decentralization Meets Error-Compensated Compression

Hanlin Tang, Xiangru Lian외 5명|arXiv (Cornell University)|2019. 07. 17.

Complexity and Algorithms in Graphs참고 문헌 27인용 수 23

한 줄 요약

이 논문은 분산 학습에서의 수렴를 유지하면서도 극단적으로 압축된 그래디언트를 허용하는, 분산된 확률적 경사하강법을 위한 첫 번째 오차 보정 압축 방법인 DeepSqueeze를 소개한다. 분산 네트워크 내에서 이웃 간에 압축 오차를 저장하고 전파함으로써 DeepSqueeze는 기존 방법들에 비해 뛰어난 통신 효율성과 수렴 속도를 달성한다. 이는 이론적 보장과 딥러닝 벤치마크에서의 실증적 검증을 통해 입증되었다.

ABSTRACT

Communication is a key bottleneck in distributed training. Recently, an \emph{error-compensated} compression technology was particularly designed for the \emph{centralized} learning and receives huge successes, by showing significant advantages over state-of-the-art compression based methods in saving the communication cost. Since the \emph{decentralized} training has been witnessed to be superior to the traditional \emph{centralized} training in the communication restricted scenario, therefore a natural question to ask is "how to apply the error-compensated technology to the decentralized learning to further reduce the communication cost." However, a trivial extension of compression based centralized training algorithms does not exist for the decentralized scenario. key difference between centralized and decentralized training makes this extension extremely non-trivial. In this paper, we propose an elegant algorithmic design to employ error-compensated stochastic gradient descent for the decentralized scenario, named $ exttt{DeepSqueeze}$. Both the theoretical analysis and the empirical study are provided to show the proposed $ exttt{DeepSqueeze}$ algorithm outperforms the existing compression based decentralized learning algorithms. To the best of our knowledge, this is the first time to apply the error-compensated compression to the decentralized learning.

연구 동기 및 목표

• 중앙 집중식 환경에서는 성공적으로 적용된 오차 보정 압축을 분산된 환경에 적합하게 적용함으로써 분산 학습에서의 통신 병목 현상을 해결하고자 한다.
• 중앙 집중식과 분산 학습 간의 구조적 차이로 인해 발생하는 비현실적인 과제들을 해결하고자 하며, 특히 극단적인 압축 조건에서도 수렴성을 유지하는 데 초점을 맞춘다.
• 기존 방법들보다 더 높은 압축 비율을 허용하면서도 어떤 압축 전략이라도 지원할 수 있는 분산 알고리즘을 설계하고자 한다.
• 이론적 수렴 분석과 실증적 검증을 통해 최신 압축 기반 분산 학습 알고리즘들에 비해 뛰어난 성능을 보여주는 것을 목표로 한다.

제안 방법

• 연결된 네트워크 내에서 이웃 간의 통신과 오차 보정을 결합한 분산 확률적 경사하강법인 DeepSqueeze를 제안한다.
• 각 노드가 그래디언트로부터 발생한 압축 오차를 저장하고 누적한 후, 현재 그래디언트와 잔류 오차의 합을 압축 연산자를 통해 전송하는 새로운 오차 전파 메커니즘을 도입한다.
• 압축된 그래디언트 업데이트 규칙을 사용한다: $ \bm{g}' \leftarrow C_{\omega}[\bm{g} + \bm{\delta}] $, 이어서 오차 업데이트: $ \bm{\delta} \leftarrow (\bm{g} + \bm{\delta}) - C_{\omega}[\bm{g} + \bm{\delta}] $, 여기서 $ \bm{\delta} $ 는 로컬로 저장된 잔류 오차이다.
• 이웃 간의 통신를 모델링하기 위해 가중치가 부여된 혼합 행렬 $ W_{\text{eff}} = (1-\eta)I + \eta W $ 를 사용하여, 분산 평균화 조건 하에서 수렴성을 보장한다.
• 이론적 분석을 통해 표준 가정 하에서 수렴성을 입증하였으며, 수렴 속도는 압축 품질, 네트워크 연결성, 스텝 사이즈에 따라 달라진다.
• 기대 그래디언트 노름과 오차 항목에 대한 경계를 유도하여, 오차 보정이 적용된 경우 극단적인 압축 조건에서도 수렴성이 유지됨을 증명한다.

실험 결과

연구 질문

• RQ1 통신이 중앙 파rameter 서버가 아닌 이웃 간으로 국한되는 분산 학습 환경에 오차 보정 압축을 효과적으로 확장할 수 있는가?
• RQ2 분산 환경에서 오차 보정을 적용할 경우 수렴성과 안정성을 유지하기 위해 어떤 알고리즘 수정이 필요한가?
• RQ3 제안된 DeepSqueeze 방법은 기존의 압축 기반 분산 학습 알고리즘들과 비교해 수렴 속도와 통신 효율성에서 어떻게 다른가?
• RQ4 극도로 압축된 조건과 분산 통신 환경 하에서 DeepSqueeze의 이론적 수렴 보장은 무엇인가?
• RQ5 DeepSqueeze는 다양한 압축 연산자를 지원하면서도 안정적인 성능을 유지할 수 있는가?

주요 결과

• DeepSqueeze는 분산 학습에 오차 보정 압축을 성공적으로 적용한 최초의 알고리즘이며, 이전 연구들보다 훨씬 높은 압축 비율을 허용한다.
• 이론적 분석 결과, DeepSqueeze는 표준 가정 하에서 선형 수렴를 보이며, 수렴 속도는 압축 품질과 네트워크 연결성에 따라 달라진다.
• 실증 결과는 다양한 딥러닝 벤치마크에서 DeepSqueeze가 기존의 압축 기반 분산 학습 방법들보다 수렴 속도와 최종 모델 정확도에서 뛰어난 성능을 보임을 보여준다.
• 이 방법은 $ \mathbb{E}\left[\|\nabla f(\overline{\bm{x}}_t)\|\right]^2 \lesssim \frac{1}{\sqrt{nT}} + \frac{C_2}{T} $ 의 수렴 속도를 달성하여 통신 라운드 수에 비례해 빠른 수렴을 보임을 나타낸다.
• 오차 보정이 압축으로 인한 편향을 효과적으로 보완함으로써, 극도로 압축된 조건에서도 알고리즘이 안정성과 성능을 유지한다.
• 이론적 경계 분석 결과, 스텝 사이즈 $ \gamma \leq \frac{1}{3L\sqrt{C_2}} $ 를 만족할 경우 메서드가 안정적으로 수렴함을 보여주며, 표준 조건 하에서 수렴 보장을 확보한다.