[논문 리뷰] Accelerated Training for CNN Distributed Deep Learning through Automatic Resource-Aware Layer Placement

Jay Park, Sunghwan Kim외 3명|arXiv (Cornell University)|2019. 01. 17.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 자원 인지형 레이어 배치(Resource-Aware Layer Placement, RALP)를 제안하며, 계산 및 통신 특성에 기반해 워커와 파라미터 서버 간에 레이어를 지능적으로 배치하여 분산 컨volutional 네트워크(CNN) 훈련을 가속화하는 방법을 제시한다. 완전히 연결된 레이어를 파라미터 서버에 배치하고, 컨볼루션/풀링 레이어를 워커 노드에 그룹화함으로써 RALP는 네트워크 트래픽을 감소시키고 확장성을 향상시켜 실험에서 기준 텐서플로우 및 호로비드 대비 최대 13배의 가속도를 달성한다.

ABSTRACT

The Convolutional Neural Network (CNN) model, often used for image classification, requires significant training time to obtain high accuracy. To this end, distributed training is performed with the parameter server (PS) architecture using multiple servers. Unfortunately, scalability has been found to be poor in existing architectures. We find that the PS network is the bottleneck as it communicates a large number of gradients and parameters with the many workers. This is because synchronization with the many workers has to occur at every step of training. Depending on the model, communication can be in the several hundred MBs per synchronization. In this paper, we propose a scheme to reduce network traffic through layer placement that considers the resources that each layer uses. Through analysis of the characteristics of CNN, we find that placement of layers can be done in an effective manner. We then incorporate this observation within the TensorFlow framework such that layers can be automatically placed for more efficient training. Our evaluation making use of this placement scheme show that training time can be significantly reduced without loss of accuracy for many CNN models.

연구 동기 및 목표

• 파라미터 서버 아키텍처를 사용한 분산 CNN 훈련에서 네트워크 통신 병목 현상을 해결하기 위해.
• 데이터 병렬 분산 딥 러닝 환경에서의 확장성 향상과 훈련 시간 단축을 위해.
• 계산 및 통신 비용을 모두 고려한 체계적이고 자원 인지형 레이어 배치 전략을 개발하기 위해.
• 실제 구현을 위해 텐서플로 프레임워크에 배치 방식을 원활하게 통합하기 위해.
• 실제 분산 환경에서 다양한 CNN 아키텍처에 대해 레이어 배치의 효과를 평가하기 위해.

제안 방법

• 특정 CNN 레이어의 특성을 분석하여, 특히 완전히 연결된 레이어에서 발생하는 계산 및 통신 불균형을 규명하기 위해.
• 계산 오버헤드와 네트워크 트래픽을 기반으로 배치 결정을 평가하는 비용 모델을 제안하기 위해.
• 완전히 연결된 레이어를 파라미터 서버에, 컨볼루션/풀링 레이어를 워커 노드에 할당하여 데이터 전송을 최소화하는 RALP 설계를 위해.
• 모델 구축 중에 자동으로 동적으로 레이어를 배치할 수 있도록 텐서플로 내부에 RALP 방식을 구현하기 위해.
• 레이어 분할이 유의미한지 판단하기 위해 RALP 프로파일러를 사용하여 불필요한 오버헤드를 방지하기 위해.
• 더불어 통신을 줄이기 위해 기존 최적화 기법(예: 기울기 양자화 및 희소화)과 통합하기 위해.

실험 결과

연구 질문

• RQ1 다양한 CNN 레이어의 계산 및 통신 특성이 분산 훈련 성능에 미치는 영향는 어떠한가?
• RQ2 완전히 연결된 레이어를 파라미터 서버에 할당하는 것이 데이터 병렬 훈련에서 네트워크 트래픽을 크게 감소시키는가?
• RQ3 레이어 배치 최적화가 측정 가능한 성능 향상을 가져오기 위한 기준은 무엇인가?
• RQ4 확장성과 훈련 속도 측면에서 RALP는 호로비드와 같은 최첨단 프레임워크와 비교해 어떻게 성과를 내는가?
• RQ5 어떤 CNN 아키텍처에서 자원 인지형 레이어 배치가 가장 뚜렷한 성능 향상을 가져오는가?

주요 결과

• RALP는 완전히 연결된 레이어를 계산이 적은 파라미터 서버에 배치시켜 전반적인 대규모 기울기 전송을 줄임으로써 네트워크 트래픽을 전략적으로 감소시킨다.
• 여러 CNN 모델을 대상으로 기준 텐서플로 구현 대비 훈련 시간을 최대 13배 가속화하는 데 성공했다.
• RALP는 확장성 면에서 호로비드를 능가한다. RALP의 네트워크 비용은 모델 크기와 무관하지만, 호로비드의 린-리듀스 방식은 모델 크기에 따라 영향을 받는다.
• 모든 모델이 동일하게 이득을 보는 것은 아니며, 성능 향상은 레이어 특성에 따라 달라지며, 큰 완전히 연결된 레이어를 가진 모델에서 가장 뚜렷한 개선을 보였다.
• RALP 프로파일러는 최적의 배치 지점을 효과적으로 식별하여 불필요한 레이어 분할로 인한 성능 저하를 방지한다.
• RALP는 기울기 최적화 기법(예: 양자화 및 희소화)과 호환되어 추가적인 통신 감소를 가능하게 한다.