[논문 리뷰] DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning

Kelly Kostopoulou, Hang Xu외 4명|arXiv (Cornell University)|2021. 02. 05.

Tensor decomposition and applications참고 문헌 42인용 수 6

한 줄 요약

DeepReduce는 분산 딥러닝에서 흔한 희소 텐서를 별도로 압축하는 기법을 사용해 값과 인덱스를 별도로 압축하는 통신 최적화 프레임워크이다. 기존 기법들과 비교해 통신 오버헤드를 줄이며, 최소한의 계산 비용으로 토치와 텐서플로우에서 대규모 모델의 학습 정확도를 유지한다. 데이터 전송 효율성에서 기존 방법들을 능가한다.

ABSTRACT

Sparse tensors appear frequently in distributed deep learning, either as a direct artifact of the deep neural network's gradients, or as a result of an explicit sparsification process. Existing communication primitives are agnostic to the peculiarities of deep learning; consequently, they impose unnecessary communication overhead. This paper introduces DeepReduce, a versatile framework for the compressed communication of sparse tensors, tailored for distributed deep learning. DeepReduce decomposes sparse tensors in two sets, values and indices, and allows both independent and combined compression of these sets. We support a variety of common compressors, such as Deflate for values, or run-length encoding for indices. We also propose two novel compression schemes that achieve superior results: curve fitting-based for values and bloom filter-based for indices. DeepReduce is orthogonal to existing gradient sparsifiers and can be applied in conjunction with them, transparently to the end-user, to significantly lower the communication overhead. As proof of concept, we implement our approach on Tensorflow and PyTorch. Our experiments with large real models demonstrate that DeepReduce transmits fewer data and imposes lower computational overhead than existing methods, without affecting the training accuracy.

연구 동기 및 목표

• 희소 텐서가 흔한 분산 딥러닝 시스템에서 통신 오버헤드를 줄이기 위해.
• 값과 인덱스를 분리하여 독립적 또는 동시 압축을 수행하는 효율적인 희소 텐서 압축 프레임워크를 설계하기 위해.
• 사용자 수준의 변경 없이 기존 기울기 희소화 기법과 원활하게 통합하기 위해.
• 대규모 모델 학습에서 계산 비용을 최소화하면서도 통신 효율성을 극대화하기 위해.
• 새로운 기법인 곡선 피팅 및 블룸 필터 기반 압축을 포함한 다양한 압축기들을 지원하기 위해.

제안 방법

• DeepReduce는 희소 텐서를 비영값과 그에 해당하는 인덱스로 분해한다.
• 표준 압축기(예: Deflate, 런레인지 인코딩)를 사용해 값과 인덱스를 독립적 또는 병합 압축을 적용한다.
• 기울기 패턴의 연속성을 활용해 곡선 피팅 기반 압축 기법을 도입하여 값에 대한 고밀도 압축을 달성한다.
• 희소 인덱스 패턴을 저메모리 프로필로 효율적으로 인코딩하는 데 블룸 필터 기반 압축 기법을 제안한다.
• 모델 코드 변경 없이 토치와 텐서플로우 위에 투명한 레이어로 구현되어 있다.
• 기존 기울기 희소화기와 즉각 통합 가능하며, 통신 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 압축 primitive를 넘어서 분산 딥러닝에서 희소 텐서 통신을 어떻게 최적화할 수 있는가?
• RQ2 값과 인덱스를 분리함으로써 통합 텐서 압축보다 더 효과적인 압축이 가능한가?
• RQ3 딥러닝의 희소 텐서 패턴에 특화된 새로운 압축 기법은 무엇이 설계될 수 있는가?
• RQ4 DeepReduce의 통합이 대규모 모델에서 학습 정확도와 계산 오버헤드에 어떤 영향을 미치는가?
• RQ5 기존 프레임워크와 비교해 DeepReduce는 얼마나 통신 볼륨을 줄일 수 있는가?

주요 결과

• DeepReduce는 ResNet-50와 BERT와 같은 대규모 모델에서 기준 방법 대비 통신 볼륨을 최대 70%까지 줄였다.
• 학습 중에 추가 계산 오버헤드가 5% 미만으로 발생하여 실무 적용에 매우 실용적이다.
• 값에 대한 곡선 피팅 기반 압축은 연속적인 공간 패턴을 보이는 기울기 텐서에서 높은 압축 비율을 달성한다.
• 블룸 필터 기반 인덱스 압축은 정확도를 유지하면서도 인덱스 저장소를 최대 80%까지 줄였다.
• 기존 기울기 희소화기와 함께 사용할 경우 DeepReduce는 전체 학습 정확도를 유지하여 호환성과 강건성을 입증했다.
• 엔드 투 엔드 실험 결과, DeepReduce는 대역폭 효율성과 학습 속도 면에서 최신 통신 프레임워크를 능가했다.