[논문 리뷰] Sparse Communication for Training Deep Networks

Negar Foroutan Eghlidi, Martin Jaggi|arXiv (Cornell University)|2020. 09. 19.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 15

한 줄 요약

이 논문은 분산 딥러닝을 위한 간단하면서도 효과적인 기울기 압축 기법인 랜덤 블록 희소화를 제안한다. 이 기법은 통신 오버헤드를 줄이면서도 표준 SGD 수준의 학습 정확도를 유지한다. 기울기의 랜덤 블록을 선택해 전송하고 오차 피드백을 사용함으로써, 특히 AllReduce 통신을 사용하는 다중 GPU 환경에서 표준 SGD보다 빠른 학습을 달성한다.

ABSTRACT

Synchronous stochastic gradient descent (SGD) is the most common method used for distributed training of deep learning models. In this algorithm, each worker shares its local gradients with others and updates the parameters using the average gradients of all workers. Although distributed training reduces the computation time, the communication overhead associated with the gradient exchange forms a scalability bottleneck for the algorithm. There are many compression techniques proposed to reduce the number of gradients that needs to be communicated. However, compressing the gradients introduces yet another overhead to the problem. In this work, we study several compression schemes and identify how three key parameters affect the performance. We also provide a set of insights on how to increase performance and introduce a simple sparsification scheme, random-block sparsification, that reduces communication while keeping the performance close to standard SGD.

연구 동기 및 목표

• 대규모 또는 엣지 디바이스 환경에서의 분산 동기 SGD에서의 통신 병목 현상 해결
• 기울기 희소화 성능에 영향을 주는 실용적 요소들(희소화 범위, 방식 유형, 통신 집계 방식 등) 탐구
• 모델 정확도를 훼손하지 않으면서도 통신 비용을 줄이는 단순하고 효율적인 희소화 방식 개발
• 실제 분산 학습 시스템에 적용하기 위한 실용적 가이드라인 제공

제안 방법

• 기울기를 고정 크기의 블록으로 나누고, 각 반복마다 랜덤으로 선택된 블록 집합을 전송하는 새로운 희소화 방식인 랜덤 블록 희소화 제안
• 원본 기울기와 희소화된 기울기 간의 차이를 저장하고 재사용함으로써 수렴성을 유지하기 위해 오차 피드백 통합
• 다양한 집계 전략에 대한 성능 평가를 위해 AllReduce와 AllGather를 통신 기반으로 사용
• 기울기 공유의 세분성에 영향을 주는 영향을 비교하기 위해 레이어 단위 및 전역 희소화 범위 구현
• 전방 계산, 역방향 계산, 기울기 교환, 압축/해제 압축 시간 분해를 측정해 성능 병목 현상을 규명
• 다양한 워커 수와 희소화 비율에서 여러 희소화 방식(탑-k, 랜덤-k, 블록-랜덤-k)을 평가

실험 결과

연구 질문

• RQ1 희소화 범위 선택(레이어 단위 대비 전역)이 모델 정확도와 학습 효율성에 어떤 영향을 미치는가?
• RQ2 통신 감소와 모델 성능 간의 최적 균형을 제공하는 희소화 방식(탑-k, 랜덤-k, 블록-랜덤-k)은 무엇인가?
• RQ3 통신 집계 방식(AllReduce 대비 AllGather)이 희소화된 SGD의 성능에 어떤 영향을 미치는가?
• RQ4 워커 수 증가가 희소화된 SGD에서 테스트 정확도와 학습 시간에 어떤 영향을 미치는가?
• RQ5 탑-k나 랜덤-k와 비교해 블록-랜덤-k와 같은 단순한 희소화 방식이 정확도를 유사하게 유지하면서도 학습 속도에서 표준 SGD를 초월할 수 있는가?

주요 결과

• 레이어 단위 희소화는 모든 레이어가 각 반복에서 매개변수 갱신에 기여하므로, 전역 희소화보다 항상 높은 테스트 정확도를 기록한다.
• 탑-k 희소화는 모든 설정에서 가장 높은 테스트 정확도를 달성하며, 그 다음으로 블록-랜덤-k, 랜덤-k가 이어진다. 이는 가장 정보가 많은 기울기를 우선순위로 선택할 수 있기 때문이다.
• 블록-랜덤-k는 압축 오버헤드가 낮아 표준 SGD(8개 GPU에서 배치당 375ms 대비 273ms)보다 학습 시간을 줄여주지만, 탑-k보다 더 많은 데이터를 전송함에도 불구하고 성능이 뛰어나다.
• 랜덤-k는 레이어 단위 희소화에서는 블록-랜덤-k와 유사한 성능을 보이나, 전역 희소화에서는 레이어 참여도가 제한되어 있어 정확도 저하가 심각하다.
• 랜덤-k에 대해서는 AllReduce와 AllGather 간 테스트 정확도에 미미한 차이가 있으나, 블록-랜덤-k는 워커 수가 증가함에 따라 AllReduce에서 정확도가 심각하게 떨어지며, 이는 기울기 다양성이 감소하기 때문일 것이다.
• 워커 수 증가로 인해 일반화 갭이 발생하여 모든 설정에서 테스트 정확도가 감소하며, 이는 전역 희소화에서 더욱 악화된다.