[논문 리뷰] SparkNet: Training Deep Networks in Spark

Philipp Moritz, Robert Nishihara외 2명|arXiv (Cornell University)|2015. 11. 19.

Advanced Neural Network Applications참고 문헌 18인용 수 75

한 줄 요약

SparkNet는 Caffe와 통합하고 확장성 있고 통합형의 확률적 경사 하강법(SGD) 병렬화를 사용하여 Apache Spark에서 딥 뉴럴 네트워크의 확장성 있고 즉시 사용 가능한 훈련을 가능하게 한다. 이는 대용량 데이터셋인 ImageNet과 같은 환경에서도 대역폭 제한 환경에서도 최소한의 튜닝으로도 상당한 성능 향상을 달성한다. 기존 데이터 파이프라인에 원활하게 통합된다.

ABSTRACT

Training deep networks is a time-consuming process, with networks for object recognition often requiring multiple days to train. For this reason, leveraging the resources of a cluster to speed up training is an important area of work. However, widely-popular batch-processing computational frameworks like MapReduce and Spark were not designed to support the asynchronous and communication-intensive workloads of existing distributed deep learning systems. We introduce SparkNet, a framework for training deep networks in Spark. Our implementation includes a convenient interface for reading data from Spark RDDs, a Scala interface to the Caffe deep learning framework, and a lightweight multi-dimensional tensor library. Using a simple parallelization scheme for stochastic gradient descent, SparkNet scales well with the cluster size and tolerates very high-latency communication. Furthermore, it is easy to deploy and use with no parameter tuning, and it is compatible with existing Caffe models. We quantify the dependence of the speedup obtained by SparkNet on the number of machines, the communication frequency, and the cluster's communication overhead, and we benchmark our system's performance on the ImageNet dataset.

연구 동기 및 목표

• 일반적인 배치 처리 프레임워크인 Spark와 같이 네이티브로 통신 집약적인 딥 뉴럴 워크로드를 최적화하지 않은 환경에서도 딥 네트워크의 분산 훈련을 가능하게 하기.
• 클러스터 환경에서의 고지연 통신 문제를 해결하기 위해 통신 효율적인 SGD 병렬화 기법을 설계하기.
• Spark RDD, SQL 쿼리 또는 그래프 계산에서 직접 데이터를 사용해 딥 네트워크를 훈련할 수 있도록 사용자 友好的 인터페이스 제공하기.
• 기존 Caffe 모델과의 호환성을 확보하고, 전용 하드웨어 없이도 표준 클라우드 인fra구조(예: EC2)에서 배포 가능하게 하기.
• 간단하고 경량적인 접근 방식이 실세계의 대역폭 제한 환경에서 최적에 가까운 성능을 달성할 수 있음을 입증하기.

제안 방법

• 스토캐스틱 경사 하강법(SGD)을 위한 단순한 병렬화 기법을 사용하여 워커와 파라미터 서버 간의 파라미터 동기화 빈도와 양을 줄여 통신 오버헤드를 최소화한다.
• RDD에서의 데이터 로딩, 모델 훈련, 평가를 기능형 스타일로 제공하는 Scala API를 통해 Apache Spark에 네이티브로 통합된다.
• 런타임에 동적으로 네트워크를 구성하고 실행하기 위해 자바 네이티브 액세스(JNA)와 프로토콜 번들러(Protocol Buffers)를 통해 Caffe의 딥 러닝 기능을 활용한다.
• 스park 실행 모델 내에서 모델 가중치와 기울기를 효율적으로 관리하기 위해 경량의 다차원 텐서 라이브러리를 사용한다.
• 워커와 파라미터 서버 간의 통신은 배치된 파라미터 동기화 방식을 통해 처리되며, 라운드트립 빈도를 최소화하여 고지연 네트워크를 견딜 수 있도록 한다.
• 기존 클러스터, 특히 EC2와 같은 클라우드 환경에서도 저지연 통신 인프라(예: InfiniBand) 없이도 즉시 사용 가능한 방식으로 작동하도록 설계되었다.

실험 결과

연구 질문

• RQ1 Caffe와 같은 일반적인 배치 처리 프레임워크인 Spark와 같이 통신 집약적인 워크로드에 최적화되어 있지 않은 환경에서도 딥 뉴럴 네트워크 훈련을 효과적이고 효율적으로 확장할 수 있는가?
• RQ2 대역폭 제한 환경에서 클러스터 크기, 통신 빈도, 네트워크 지연이 증가함에 따라 SparkNet의 성능은 어떻게 변화하는가?
• RQ3 간단하고 경량적인 SGD 병렬화 기법이 고성능을 달성할 수 있는가? 특히 전용 저수준 딥 뉴럴 워크로드 프레임워크와 비교했을 때의 경쟁력은 어느 정도인가?
• RQ4 SparkNet은 SQL, 그래프 계산 또는 스트리밍 데이터를 포함한 기존 데이터 처리 파이프라인에 데이터 재정렬이나 디스크 I/O 없이 원활하게 모델 훈련을 통합할 수 있는가?
• RQ5 실세계 클러스터 배포 환경에서 통신 빈도와 훈련 속도 사이의 실질적인 트레이드오프는 무엇인가?

주요 결과

• ImageNet 벤치마크에서 작은 수의 GPU를 사용하더라도 SparkNet은 실세계 데이터셋에서 효과적인 확장성을 보이며 상당한 성능 향상을 달성한다.
• 5노드 EC2 클러스터에서 몇백메가바이트 크기의 모델에 대해 파라미터 브로드캐스트 및 수집에 약 20초가 소요되며, AlexNet의 한 미니배치 계산에는 약 2초가 소요된다.
• 시스템은 대역폭 제한 환경에서도 잘 작동하며, InfiniBand와 같은 전용 하드웨어 없이도 고지연 통신을 견딜 수 있다.
• 이러한 접근 방식은 SQL, 그래프 또는 스트리밍 소스에서 온 데이터를 직접 딥 뉴럴 워크플로우에 통합하는 엔드 투 엔드 훈련 파이프라인을 가능하게 하여 고비용 I/O와 데이터 이동을 방지한다.
• 구현은 기존 Caffe 모델과 호환되며 최소한의 코드 변경으로 쉽게 도입 및 통합이 가능하다.
• 프레임워크는 단순하고 통신 최적화된 SGD 기법이 실질적으로 최적에 가까운 성능을 달성할 수 있음을 입증하며, 저지연 통신에 의존하는 시스템과 비교해도 경쟁력 있는 성능을 보인다.