[논문 리뷰] DeepSpark: A Spark-Based Distributed Deep Learning Framework for Commodity Clusters

Hanjoo Kim, Jaehong Park외 2명|arXiv (Cornell University)|2016. 02. 26.

Advanced Clustering Algorithms Research참고 문헌 21인용 수 14

한 줄 요약

DeepSpark는 Apache Spark 기반의 분산 딥러닝 프레임워크로, 데이터 병렬 처리와 이弹性 평균 SGD(EASGD)의 비동기적, 락 없는 변종을 통합하여 일반 하드웨어 클러스터에서 학습을 가속화한다. 계산과 파라미터 동기화를 분리함으로써 통신 오버헤드를 줄이며, CaffeOnSpark보다 최대 10배 빠른 파라미터 교환을 달성하고, 비동기성으로 인한 반복 수 증가에도 불구하고 뚜렷한 성능 향상을 이룬다.

ABSTRACT

The increasing complexity of deep neural networks (DNNs) has made it challenging to exploit existing large-scale data processing pipelines for handling massive data and parameters involved in DNN training. Distributed computing platforms and GPGPU-based acceleration provide a mainstream solution to this computational challenge. In this paper, we propose DeepSpark, a distributed and parallel deep learning framework that exploits Apache Spark on commodity clusters. To support parallel operations, DeepSpark automatically distributes workloads and parameters to Caffe/Tensorflow-running nodes using Spark, and iteratively aggregates training results by a novel lock-free asynchronous variant of the popular elastic averaging stochastic gradient descent based update scheme, effectively complementing the synchronized processing capabilities of Spark. DeepSpark is an on-going project, and the current release is available at http://deepspark.snu.ac.kr.

연구 동기 및 목표

• 일반 클러스터에서 기존 딥러닝 프레임워크의 높은 통신 오버헤드와 제한된 확장성 문제를 해결하기 위해.
• Apache Spark를 활용해 대규모 데이터 처리 파이프라인과 딥러닝을 원활하게 통합하기 위해.
• 비동기적 파라미터 업데이트 메커니즘을 통해 동기화 병목 현상을 줄여 학습 효율성을 향상시키기 위해.
• Caffe 및 텐서플로우와 같은 인기 있는 딥러닝 프레임워크를 통합된 Spark 기반 환경에서 지원하기 위해.
• 특수화된 GPU 클러스터에 의존하지 않고도 일반 하드웨어에서 더 빠른 수렴과 더 나은 확장성을 달성하기 위해.

제안 방법

• DeepSpark는 데이터 병렬 처리를 위해 Apache Spark의 내성적 분산 데이터셋(RDD)을 활용하여 데이터와 모델 파라미터를 워커 노드 간에 분산한다.
• 계산과 파라미터 업데이트를 분리하여 동기화 지연을 줄이기 위해, 락 없는 비동기 EASGD의 새로운 변종을 구현한다.
• 스레드 풀을 사용하는 파라미터 교환 모듈을 통해 노드 간 파라미터 교환을 관리하고, 통신 중 공백 시간을 최소화한다.
• 통신 주기(τ)는 비동기성으로 인한 오차 페널티와 통신 오버헤드 감소 사이의 균형을 맞추기 위해 조정된다.
• 시스템은 Caffe와 텐서플로우를 백엔드 계산 엔진으로 지원하여 Spark 클러스터에서의 다양한 모델 학습을 가능하게 한다.
• 계산 시간(T_comp)과 통신 시간(T_comm)을 기반으로 한 스피드업 모델을 유도하여 고망대역 지연 환경에서의 이론적 확장성을 입증한다.

실험 결과

연구 질문

• RQ1 비동기적, Spark 기반 딥러닝 프레임워크가 일반 클러스터에서 동기적 대비 더 빠른 학습을 달성할 수 있는가?
• RQ2 파라미터 비동기성은 분산 딥러닝에서 수렴 정확도와 학습 반복 수에 어떤 영향을 미치는가?
• RQ3 Spark 환경에서 파라미터 동기화를 계산과 분리함으로써 통신 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 DeepSpark는 고성능 학습 스루풋을 유지하면서 기존 데이터 처리 파이프라인과 효과적으로 통합될 수 있는가?
• RQ5 비동기 분산 학습에서 통신 감소와 오차 페널티 사이의 상호 교환 관계는 어떠한가?

주요 결과

• DeepSpark는 CaffeOnSpark 대비 파라미터 교환 시간을 1/10 이하로 줄여, 반복 수 증가에도 불구하고 뚜렷한 성능 향상을 달성했다.
• 16개 노드에서 GoogLeNet 학습을 수행한 결과, DeepSpark는 CaffeOnSpark보다 더 빠른 수렴을 보였으며, 파라미터 교환 시간은 미니배치 학습 시간의 약 10%에 불과했다.
• 오차 페널티 d(a,τ,n)는 통신 주기 τ와 노드 수 n이 증가할수록 증가하지만, 통신 감소로 얻는 스피드업 이득이 이를 상쇄했다.
• 16개 엑secutor에서 데이터 스플링 오버헤드가 총 학습 시간의 1% 미만을 차지하여 성능에 거의 영향을 주지 않았다.
• 이론적 스피드업 모델은 일반 클러스터에서 S(통신 오버헤드)가 높을 경우, 큰 τ 값이 n/d(a,τ,n)에 가까운 확장성 있는 성능을 낼 수 있음을 보여주었다.
• DeepSpark는 효과적인 확장성과 장애 내성을 입증했지만, RDD 라인재이션 문제로 인해 엑세큐터 장애 발생 시 전체 재학습이 필요하다.