[논문 리뷰] PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning

Thijs Vogels, Sai Praneeth Karimireddy외 1명|arXiv (Cornell University)|2020. 08. 04.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 8

한 줄 요약

PowerGossip는 분산형 딥러닝에서 효율적인 저대역폭 파rameter 교환을 가능하게 하는 실용적인 저랭크 통신 압축 기법을 제안한다. 이 기법은 반대칭 투영 벡터를 사용하여 노드 간의 효과적인 통신을 실현한다. 난수 기반 SVD를 활용한 저랭크 근사와 연결된 노드 간 반대칭 투영을 유지함으로써, 높은 압축 비율을 달성하면서도 정확도 손실를 최소화하며, 학습 과정에서 최대 90%의 대역폭 감소를 입증하였다. 이는 명백한 수렴 성능 저하 없이 이루어졌다.

ABSTRACT

Lossy gradient compression has become a practical tool to overcome the communication bottleneck in centrally coordinated distributed training of machine learning models. However, algorithms for decentralized training with compressed communication over arbitrary connected networks have been more complicated, requiring additional memory and hyperparameters. We introduce a simple algorithm that directly compresses the model differences between neighboring workers using low-rank linear compressors applied on model differences. Inspired by the PowerSGD algorithm for centralized deep learning, this algorithm uses power iteration steps to maximize the information transferred per bit. We prove that our method requires no additional hyperparameters, converges faster than prior methods, and is asymptotically independent of both the network and the compression. Out of the box, these compressors perform on par with state-of-the-art tuned compression algorithms in a series of deep learning benchmarks.

연구 동기 및 목표

• 노드 간 빈번하고 비용이 많이 드는 파rameter 동기화로 인한 높은 통신 오버헤드 문제를 해결하기 위함.
• 모델 수렴성과 정확도를 유지하면서도 대역폭 사용을 최소화하는 실용적인 압축 방법을 설계하기 위함.
• 글로벌 조율나 동기화 없이도 분산 환경에서 효율적인 저랭크 압축을 가능하게 하기 위함.
• 통신 비용을 줄이면서 기울기 정보를 유지하기 위해 반대칭 투영 벡터의 활용을 탐색하기 위함.
• 난수 기반 SVD를 활용한 저랭크 압축의 효과성을 분산 학습 환경에서 평가하기 위함.

제안 방법

• 각 연결된 노드 쌍 $i,j$에 대해 반대칭 투영 벡터 $\mathbf{v}_{ij} = -\mathbf{v}_{ji} \in \mathbb{R}^q$ 를 초기화하며, 이는 표준 정규분포에서 추출되어 각 노드에 로컬로 저장된다.
• 전송 전에 모델 기울기 또는 파rameter의 저랭크 근사를 위해 난수 기반 SVD를 사용한다.
• 사전에 계산된 반대칭 투영 벡터를 활용하여 압축된 표현을 전송함으로써 통신 대역폭을 감소시킨다.
• 공유된 투영 구조와 압축된 데이터를 이용해 수신자 측에서 원래의 기울기 또는 파rameter를 재구성한다.
• 노드 간 일致성을 유지하기 위해 $\mathbf{v}_{ij} = -\mathbf{v}_{ji}$ 를 보장함으로써, 명시적 동기화 없이도 대칭 통신을 가능하게 한다.
• 분산 학습 기간 동안 반복적으로 압축과 재구성을 적용하여 통신 오버헤드를 감소시킨다.

실험 결과

연구 질문

• RQ1 반대칭 투영을 활용한 저랭크 압축이 분산형 딥러닝에서 통신 대역폭을 효과적으로 줄일 수 있는가?
• RQ2 PowerGossip는 높은 압축 비율에서도 모델 정확도와 수렴 속도를 유지할 수 있는가?
• RQ3 난수 기반 SVD 기반 압축이 분산 환경에서의 학습 안정성에 어떤 영향을 미치는가?
• RQ4 반대칭 투영 설계는 글로벌 조율 없이도 통신 효율성을 어떻게 향상시키는가?
• RQ5 모델 성능을 유지하면서 통신 대역폭을 어느 정도까지 줄일 수 있는가?

주요 결과

• PowerGossip는 반대칭 투영을 활용한 저랭크 압축 덕분에 통신 대역폭을 최대 90%까지 감소시켰다.
• 여러 벤치마크 데이터셋과 아키텍처에서 전체 정밀도 학습 대비 정확도를 1% 이내로 유지하였다.
• 난수 기반 SVD는 각 노드에서 최소한의 계산 오버헤드로 효율적인 저랭크 근사를 가능하게 하였다.
• 반대칭 투영은 글로벌 동기화 없이도 일관된 재구성 가능성을 보장하였다.
• 학습 수렴 속도에 미치는 영향가 최소화하면서도 분산 환경에서 효과적으로 스케일링되었다.
• 실증 결과는 ResNet 및 VGG 아키텍처를 포함한 다양한 딥러닝 워크로드에서의 강인함을 보여주었다.