[논문 리뷰] SparCML: High-Performance Sparse Communication for Machine Learning

Cédric Renggli, Saleh Ashkboos외 3명|arXiv (Cornell University)|2018. 02. 22.

Stochastic Gradient Optimization Techniques참고 문헌 57인용 수 11

한 줄 요약

SparCML는 기계학습을 위한 고성능이고 희소성 통신을 지원하는 라이브러리로, 기울기의 희소성과 저정밀도, 비차단 통신을 활용하여 allreduce와 같은 집합 연산을 최적화한다. 동적 희소성 패턴 적응과 대규모 클러스터에서의 효율적이고 확장 가능한 감소 연산을 통해 밀도 있는 구현과 난이한 희소 구현 대비 순서수준의 성능 향상을 달성한다.

ABSTRACT

Applying machine learning techniques to the quickly growing data in science and industry requires highly-scalable algorithms. Large datasets are most commonly processed "data parallel" distributed across many nodes. Each node's contribution to the overall gradient is summed using a global allreduce. This allreduce is the single communication and thus scalability bottleneck for most machine learning workloads. We observe that frequently, many gradient values are (close to) zero, leading to sparse of sparsifyable communications. To exploit this insight, we analyze, design, and implement a set of communication-efficient protocols for sparse input data, in conjunction with efficient machine learning algorithms which can leverage these primitives. Our communication protocols generalize standard collective operations, by allowing processes to contribute arbitrary sparse input data vectors. Our generic communication library, SparCML, extends MPI to support additional features, such as non-blocking (asynchronous) operations and low-precision data representations. As such, SparCML and its techniques will form the basis of future highly-scalable machine learning frameworks.

연구 동기 및 목표

• 대규모 분산 기계학습에서 기울기의 밀도 있는 allreduce가 확장성에 제약을 주는 통신 병목 현상을 해결하기 위해.
• 딥러닝에서 흔히 발생하는 모델 기울기의 내재된 희소성(예: ReLU 활성화 함수)을 활용하여 통신량과 지연 시간을 줄이기 위해.
• 기계학습 워크로드를 위한 희소성, 저정밀도, 비차단 집합 연산을 지원하는 일반 목적의 통신 라이브러리를 설계하고 구현하기 위해.
• 노드 간에 알려지지 않은 비영 요소 인덱스 겹침을 고려해 적응 가능한 효율적인 희소 집합 연산을 MPI에 통합하기 위해.
• 기존 기계학습 프레임워크에 원활하게 통합하면서도 근접한 최적의 대역폭과 지연 시간 성능을 달성하기 위해.

제안 방법

• 노드 간 비영 기울기 인덱스의 알려지지 않은 겹침을 동적으로 처리할 수 있는 적응형 희소 집합 알고리즘 설계.
• 비차단 연산과 저정밀도 데이터 표현(예: 4비트 기울기)을 지원하는 새로운 희소 allreduce 프리미티브를 포함해 MPI를 확장.
• 감소-스캐터와 온전한 수거 단계를 조합한 하이브리드 통신 전략을 구현하며, 비영 값만을 선택적으로 전송.
• 희소 벡터를 효율적으로 인코딩하고 감소 과정에서 필요에 따라 밀도 표현으로 전환하는 데이터 표현 방식 도입.
• 큰 모델에서 통신 오버헤드를 줄이기 위해 인접한 기울기를 융합하는 텐서 융합 기법 사용.
• 비차단 연산을 통해 계산과 통신을 겹쳐 처리하여 희소 allreduce 파이프라인의 지연 시간을 숨기기.

실험 결과

연구 질문

• RQ1 희소 통신 프로토콜이 분산 기계학습 allreduce 연산에서 대역폭과 지연 시간을 크게 줄일 수 있는가?
• RQ2 알려지지 않은 다양한 비영 인덱스 겹침을 고려해 희소 집합 연산을 어떻게 설계할 수 있는가?
• RQ3 저정밀도 및 비차단 연산이 기계학습을 위한 희소 통신에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 SparCML와 같은 일반 목적의 통신 라이브러리가 실제 기계학습 워크로드에서 고도로 최적화된 밀도 구현 또는 난이한 희소 구현을 능가할 수 있는가?
• RQ5 기울기의 희소성과 대배치 학습 간의 상호작용은 어떠한가? 그리고 SparCML는 이러한 시나리오를 지원하기 위해 확장될 수 있는가?

주요 결과

• SparCML는 합성 벤치마크와 실제 기계학습 워크로드에서 고도로 최적화된 밀도 구현 대비 순서수준의 성능 향상을 달성한다.
• 라이브러리는 기울기의 희소성을 활용하여 통신 비용을 줄이며, 특히 ReLU 활성화 함수를 사용하는 깊은 네트워크에서 기울기가 자주 0 또는 근접한 0이 되기 때문이다.
• SparCML는 효율적인 4비트 정밀도 감소를 지원하여 수렴성에 영향을 주지 않으면서도 대역폭 절감 효과를 극대화한다.
• 대역폭과 지연 시간 측면에서 이론적 한계의 상수 배수 이내로 근접한 최적 성능을 보여주며, 이는 이론적 한계에 매우 가까운 성능을 의미한다.
• SparCML의 비차단 연산은 계산과 통신의 겹침을 효과적으로 구현하여 확장성 향상에 기여한다.
• SparCML는 기존 기계학습 프레임워크에 원활하게 통합되며, 텐서 융합을 지원하여 큰 모델에서 통신 단계 수를 줄인다.