[논문 리뷰] Efficient Communications in Training Large Scale Neural Networks

Linnan Wang, Wei Wu외 3명|arXiv (Cornell University)|2016. 11. 14.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 5

한 줄 요약

이 논문은 대규모 신경망 학습을 위한 새로운 집합적 통신 기법인 선형 파이프라인(LP)을 제안한다. 이 기법은 배치 동기식 병렬 확률적 경사하강법(BSP-SGD)에서 통신 오버헤드를 줄이는 데 목적이 있으며, 이중 방향 교환 기법보다 최대 2배 빠른 대역폭을 달성하고, GPU 수에 관계없이 일정한 통신 비용을 유지함으로써 확장성과 병목 현상을 크게 향상시키며 수렴 성질을 그대로 유지한다.

ABSTRACT

We consider the problem of how to reduce the cost of communication that is required for the parallel training of a neural network. The state-of-the-art method, Bulk Synchronous Parallel Stochastic Gradient Descent (BSP-SGD), requires many collective communication operations, like broadcasts of parameters or reductions for sub-gradient aggregations, which for large messages quickly dominates overall execution time and limits parallel scalability. To address this problem, we develop a new technique for collective operations, referred to as Linear Pipelining (LP). It is tuned to the message sizes that arise in BSP-SGD, and works effectively on multi-GPU systems. Theoretically, the cost of LP is invariant to $P$, where $P$ is the number of GPUs, while the cost of more conventional Minimum Spanning Tree (MST) scales like $O(\log P)$. LP also demonstrate up to 2x faster bandwidth than Bidirectional Exchange (BE) techniques that are widely adopted by current MPI implementations. We apply these collectives to BSP-SGD, showing that the proposed implementations reduce communication bottlenecks in practice while preserving the attractive convergence properties of BSP-SGD.

연구 동기 및 목표

• BSP-SGD를 사용한 대규모 신경망 병렬 학습에서 증가하는 통신 오버헤드를 해결한다.
• 브로드캐스트와 리듀스와 같은 전통적 집합적 연산의 확장성 한계를 극복한다. 이는 GPU 수가 증가함에 따라 성능이 크게 떨어지는 경향이 있다.
• BSP-SGD에서 흔히 발생하는 메시지 크기에 최적화된 통신 기법을 설계하여 대역폭 효율성과 지연 시간을 향상시킨다.
• 기존 방법이 O(log P)로 증가하는 것과는 달리, GPU 수(P)에 관계없이 통신 비용이 일정한 통신 기법을 달성한다.
• 실제로 통신 병목 현상을 크게 줄이되, BSP-SGD의 수렴 성질을 유지한다.

제안 방법

• BSP-SGD에서 발생하는 메시지 크기에 최적화된 새로운 집합적 통신 기법인 선형 파이프라인(LP)을 도입한다.
• GPU 간에 데이터 전달을 선형적으로 오버랩함으로써 유휴 시간을 최소화하고 대역폭 활용도를 극대화한다.
• 기존의 최소 스패닝 트리(MST) 기반 방법이 O(log P)로 증가하는 것과는 달리, GPU 수(P)에 관계없이 통신 비용이 일정하다.
• 기존 MPI 구현에서 널리 사용되는 이중 방향 교환(BE) 기법보다 최대 2배 높은 효과적 대역폭을 달성한다.
• 표준 집합적 연산(예: 파라미터 브로드캐스트 및 기울기 리듀스)을 대체하기 위해 LP를 BSP-SGD 프레임워크에 통합한다.
• 기존 학습 프레임워크와의 호환성을 확보하기 위해 동일한 동기화 및 수렴 행동을 유지한다.

실험 결과

연구 질문

• RQ1 학습에 사용하는 GPU 수에 관계없이 일정한 통신 비용을 유지하는 통신 기법을 설계할 수 있는가?
• RQ2 MPI에서 널리 사용되는 이중 방향 교환 기법과 비교해 선형 파이프라인의 대역폭 효율성은 어떠한가?
• RQ3 BSP-SGD의 수렴 성질을 해치지 않으면서 선형 파이프라인은 대규모 신경망 학습에서 얼마나 많은 통신 병목 현상을 줄일 수 있는가?
• RQ4 선형 파이프라인은 확장성과 런타임 성능 향상과 함께 BSP-SGD의 수렴 성질을 유지하는가?
• RQ5 다양한 메시지 크기를 가진 실제 신경망 학습 워크로드에 대해 선형 파이프라인이 효과적으로 적용될 수 있는가?

주요 결과

• 선형 파이프라인은 MST 기반 방법이 O(log P)로 증가하는 것과는 달리, GPU 수(P)에 관계없이 통신 비용이 일정하다.
• 표준 MPI 구현에서 사용되는 이중 방향 교환 기법보다 최대 2배 높은 효과적 대역폭을 보인다.
• BSP-SGD에 LP를 통합함으로써 실질적인 통신 병목 현상이 줄어들어 다중 GPU 시스템에서 더 빠른 학습이 가능해진다.
• 제안된 방법은 표준 BSP-SGD의 수렴 성질을 그대로 유지하여 학습 안정성과 모델 정확도를 보장한다.
• 특히 빈번한 파라미터 동기화가 필요한 대규모 모델에 대해 통신 오버헤드를 최소화함으로써 더 나은 병렬 확장성을 제공한다.
• 신경망 학습에서 흔히 발생하는 메시지 크기에 매우 효과적이므로 실세계 딥러닝 워크로드에 적합하다.