[논문 리뷰] Stanza: Layer Separation for Distributed Training in Deep Learning

Xiaorui Wu, Hong Xu외 2명|arXiv (Cornell University)|2018. 12. 27.

Advanced Neural Network Applications참고 문헌 47인용 수 4

한 줄 요약

Stanza는 분산 딥러닝에서 계산 부담이 큰 컨볼루션(CONV) 레이어와 파라미터 부담이 큰 완전연결(FC) 레이어를 분리하여 계산과 통신을 분리함으로써, 대부분의 워커에서 CONV 레이어를 학습시키고 소수의 워커에서 FC 레이어를 학습시킴으로써, 노드 간 통신을 최대 10배 감소시키고 10Gb 네트워크에서 학습 속도를 1.34배에서 13.9배까지 향상시킴. 이 방법은 모델 수렴성과 정확도를 훼손하지 않으면서도 파라미터 서버 시스템에서의 데이터 전송 오버헤드를 크게 줄임.

ABSTRACT

The parameter server architecture is prevalently used for distributed deep learning. Each worker machine in a parameter server system trains the complete model, which leads to a hefty amount of network data transfer between workers and servers. We empirically observe that the data transfer has a non-negligible impact on training time. To tackle the problem, we design a new distributed training system called Stanza. Stanza exploits the fact that in many models such as convolution neural networks, most data exchange is attributed to the fully connected layers, while most computation is carried out in convolutional layers. Thus, we propose layer separation in distributed training: the majority of the nodes just train the convolutional layers, and the rest train the fully connected layers only. Gradients and parameters of the fully connected layers no longer need to be exchanged across the cluster, thereby substantially reducing the data transfer volume. We implement Stanza on PyTorch and evaluate its performance on Azure and EC2. Results show that Stanza accelerates training significantly over current parameter server systems: on EC2 instances with Tesla V100 GPU and 10Gb bandwidth for example, Stanza is 1.34x--13.9x faster for common deep learning models.

연구 동기 및 목표

• 대규모 파라미터 교환으로 인해 각 학습 반복마다 발생하는 높은 통신 오버헤드를 해결하기 위해 파라미터 서버 기반 분산 딥러닝에서의 통신 오버헤드 문제를 해결하는 것.
• 현대 GPU 클러스터에서 학습 지연 시간의 주요 원인인 워커와 파라미터 서버 간의 데이터 전송을 최소화하여 학습 시간을 단축시키는 것.
• CNN의 컨볼루션 레이어와 완전연결 레이어 간의 상이한 계산 및 통신 특성을 활용하여 더 효율적인 분산 학습을 설계하는 것.
• 모델 수렴성과 성능을 유지하면서 네트워크 대역폭 사용을 극도로 줄이는 시스템을 설계하는 것.

제안 방법

• 딥러닝 모델을 별도의 CONV 및 FC 레이어 학습 파이프라인으로 분해하여, 클러스터의 대부분의 노드를 CONV 레이어 학습에 할당하고 소수의 노드를 FC 레이어 학습에 할당하는 것.
• 하이브리드 통신 전략을 사용: CONV-FC 활성화 및 기울기 교환에 대해 다수에서 한 명으로, 그리고 한 명에서 다수로의 통신을 구현하고, CONV 및 FC 워커 간의 그룹 내 기울기 동기화를 위해 최적화된 allreduce를 적용하는 것.
• CONV 및 FC 워커 간의 기울기 교환을 겹쳐서 수행하여 통신 지연을 숨기고 파이프라인 효율성을 향상시키는 것.
• 노드 할당에 기반한 학습 처리량을 예측할 수 있는 성능 모델을 개발하고, 최적의 CONV 및 FC 워커 수를 결정하기 위한 오프라인 최적화 문제를 해결하는 것.
• PyTorch에 Stanza를 통합하여, Azure 및 AWS EC2와 같은 클라우드 플랫폼에서 최소한의 코드 변경으로도 원활한 배포를 가능하게 하는 것.
• 기존의 표준 SGD와의 호환성을 유지하고, 블록 동기화 병렬(Bulk Synchronous Parallel, BSP)을 사용하여 모델 일관성을 확보하면서도, 비동기 및 오래된 동기 학습과의 확장성 유지

실험 결과

연구 질문

• RQ1 컨볼루션 레이어와 완전연결 레이어의 학습을 분리함으로써, 모델 정확도나 수렴성에 영향을 주지 않으면서도 분산 딥러닝에서 통신 오버헤드를 줄일 수 있는가?
• RQ2 CONV 및 FC 레이어 간의 통신 패턴을 최적화하여 지연 시간을 최소화하면서도 학습 효율성을 유지할 수 있는가?
• RQ3 주어진 클러스터 크기에 대해 학습 처리량을 최대화하는 데 최적의 노드 할당 전략(즉, CONV 대비 FC 워커 수)은 무엇인가?
• RQ4 10Gb, 40Gb, 100Gb 네트워크 대역폭과 같은 다양한 네트워크 환경에서 레이어 분리 기법의 성능은 어떠한가?
• RQ5 고대역폭 데이터센터 환경에서 통신이 주요 병목이 아니더라도, 제안된 시스템이 상당한 속도 향상을 달성할 수 있는가?

주요 결과

• Tesla V100 GPU와 10Gb 네트워크를 사용한 EC2 환경에서, AlexNet 및 VGG-16와 같은 일반적인 모델에 대해 Stanza는 기존 파라미터 서버 시스템 대비 1.34배에서 13.9배의 속도 향상을 달성함.
• VGG-16에 대해 Stanza는 표준 파라미터 서버 학습 대비 데이터 전송량을 최대 10배 감소시킴.
• 100Gb 네트워크 대역폭 환경에서도 수치 시뮬레이션 결과, AlexNet과 VGG-16에 대해 각각 1.55배와 1.72배의 속도 향상이 나타나, 10Gb 네트워크를 초월한 지속적인 이점이 있음을 입증함.
• 블록 동기화 병렬(Bulk Synchronous Parallel, BSP)을 사용함으로써 신속한 수렴성과 모델 정확도를 유지하며, 성능 저하 없이 일관성을 확보함.
• 성능 모델을 통해 최적의 노드 할당이 가능하며, 그 결과로 얻어진 구성은 다양한 모델과 클러스터 크기에서 기준 파라미터 서버 시스템을 항상 초월함.
• Stanza는 기존의 통신 최적화 기법(예: 기울기 압축 및 정량화)과 수직적(orthogonal)으로 작용하며, 이를 조합하여 통신 비용을 추가로 줄일 수 있음.