[논문 리뷰] Bandwidth Reduction using Importance Weighted Pruning on Ring AllReduce

Zehua Cheng, Zhenghua Xu|arXiv (Cornell University)|2019. 01. 06.

Advanced Neural Network Applications참고 문헌 19인용 수 8

한 줄 요약

이 논문은 대규모 딥러닝 훈련에서 통신 대역폭을 줄이기 위해 링 all-reduce에 대한 중요도 가중 프루닝을 제안한다. 기울기 크기와 파라미터 값의 비율에 기반해 낮은 중요도 기울기를 동적으로 프루닝하고, 확률적 인덱스 브로드캐스트를 사용함으로써, AlexNet에서는 최대 64×, ResNet50에서는 58.8×의 기울기 압축을 달성하면서도 96개 노드로 구성된 클러스터에서 GTX 1080Ti GPU만을 사용하여 모델 정확도를 유지한다.

ABSTRACT

It is inevitable to train large deep learning models on a large-scale cluster equipped with accelerators system. Deep gradient compression would highly increase the bandwidth utilization and speed up the training process but hard to implement on ring structure. In this paper, we find that redundant gradient and gradient staleness has negative effect on training. We have observed that in different epoch and different steps, the neural networks focus on updating different layers and different parameters. In order to save more communication bandwidth and preserve the accuracy on ring structure, which break the restrict as the node increase, we propose a new algorithm to measure the importance of gradients on large-scale cluster implementing ring all-reduce based on the size of the ratio of parameter calculation gradient to parameter value. Our importance weighted pruning approach achieved 64X and 58.8X of gradient compression ratio on AlexNet and ResNet50 on ImageNet. Meanwhile, in order to maintain the sparseness of the gradient propagation, we randomly broadcast the index of important gradients on each node. While the remaining nodes are ready for the index gradient and perform all-reduce update. This would speed up the convergence of the model and preserve the training accuracy.

연구 동기 및 목표

• 링 all-reduce 아키텍처에서 대규모 분산 딥러닝 훈련의 증가하는 통신 병목 현상을 해결하기 위해.
• 모델 정확도를 훼손하지 않고 대역폭 사용량을 줄이되, 노드 수가 증가할수록 더욱 중요하게 고려해야 할 사항으로.
• 노드 수가 증가함에 따라 기울기가 더욱 조밀해지는 링 아키텍처에서의 딥 기울기 압축 기술의 한계를 극복하기 위해.
• 고성능 네트워킹 기술(예: 인피니밴드) 없이도 소비자용 GPU(예: GTX 1080Ti)만으로도 대규모 클러스터에서 효율적이고 고대역폭 활용을 가능하게 하기 위해.
• 동적이고 레이어별 기울기 중요도 추정을 통해 수렴 속도와 모델 성능을 유지하기 위해.

제안 방법

• 기울기 중요도를 기울기 크기와 파라미터 값의 비율(|∇w| / |w|)을 측정하여 비중이 낮은 업데이트를 식별한다.
• 레이어 간 기울기 중요도의 분산 대 평균 비율을 기반으로 동적 임계값 설정을 적용하여 프루닝을 적응적으로 제어한다.
• 레이어별 중요도 기반 프루닝을 수행하여, 고중요도 기울기만 전송하고 나머지는 로컬로 누적한다.
• 중요한 기울기의 인덱스를 노드 간에 무작위로 브로드캐스트하여 희소성 유지 및 정확한 all-reduce 업데이트를 보장한다.
• 낮은 중요도 기울기의 경우 확률적 업데이트 규칙을 적용하여 오래된 기울기 문제를 방지하고 수렴성을 유지한다.
• 초기 훈련 단계에서 최적화를 안정화하기 위해 웜업 훈련과 로컬 기울기 클리핑을 사용한다.

실험 결과

연구 질문

• RQ1 모델 정확도를 떨어뜨리지 않으면서 링 all-reduce 아키텍처에 기울기 희소화를 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 대규모 분산 훈련에서 여분이거나 중요도가 낮은 기울기를 신뢰할 수 있는 지표로 사용할 수 있는 메트릭은 무엇인가?
• RQ3 기울기 오래됨 현상이 수렴에 어떤 영향을 미치며, 희소 통신 체계에서 이를 어떻게 완화할 수 있는가?
• RQ4 노드 수가 증가함에 따라 기울기 밀도가 증가하는 링 아키텍처에서 딥 기울기 압축을 의미 있게 적용할 수 있는가?
• RQ5 동적 훈련 환경에서 대역폭 절감과 모델 성능 간 최적의 균형을 이루기 위한 임계값 전략은 무엇인가?

주요 결과

• 제안된 방법은 ImageNet 훈련에서 AlexNet에 대해 64×, ResNet50에 대해 58.8×의 기울기 압축 비율을 달성하여 고정 임계값 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• 레이어별 임계값 설정을 통해 ResNet50에서 76.31%의 top-1 정확도를 유지하였으며, 베이스라인(76.09%)을 略로 초월하면서도 47.6×의 압축 비율을 달성하였다.
• 네트워크 I/O 대역폭이 크게 감소하였으며, 인피니밴드 없이도 기가비트 속도 수준에서 효과적인 통신가능성을 확보하였다.
• 기울기 중요도의 분산 대 평균 비율은 동적 임계값 조정에 핵심적인 지표로 밝혀졌으며, 이는 수렴 안정성을 향상시켰다.
• 기존의 딥 기울기 압축 기술은 노드 수 증가에 따라 기울기 밀도가 증가함에 따라 링 아키텍처에서 실패했지만, 제안된 방법은 동적 프루닝을 통해 이를 극복하였다.
• 이 방법을 통해 GTX 1080Ti GPU만을 사용하는 96개 노드 클러스터에서도 훈련이 가능해졌으며, 고성능 네트워킹 기술(예: 인피니밴드)의 필요성을 피할 수 있었다.