[논문 리뷰] DeepSpark: Spark-Based Deep Learning Supporting Asynchronous Updates and Caffe Compatibility

Hanjoo Kim, Jae Hong Park외 2명|arXiv (Cornell University)|2016. 02. 26.

Advanced Neural Network Applications참고 문헌 31인용 수 31

한 줄 요약

DeepSpark는 확장 가능한 데이터 관리에 Apache Spark를 통합하고 GPU 가속을 위해 Caffe를 활용하는 분산 딥 러닝 프레임워크로, 임의의 평균 SGD의 락-프리 변종을 통해 비동기 학습을 가능하게 한다. 이 프레임워크는 Caffe 모델을 네이티브로 지원하여 대규모 클러스터에서 원활한 배포가 가능하며, 학습 효율성과 호환성이 향상된다.

ABSTRACT

The increasing complexity of deep neural networks (DNNs) has made it challenging to exploit existing large-scale data process pipelines for handling massive data and parameters involved in DNN training. Distributed computing platforms and GPGPU-based acceleration provide a mainstream solution to this computational challenge. In this paper, we propose DeepSpark, a distributed and parallel deep learning framework that simultaneously exploits Apache Spark for large-scale distributed data management and Caffe for GPU-based acceleration. DeepSpark directly accepts Caffe input specifications, providing seamless compatibility with existing designs and network structures. To support parallel operations, DeepSpark automatically distributes workloads and parameters to Caffe-running nodes using Spark and iteratively aggregates training results by a novel lock-free asynchronous variant of the popular elastic averaging stochastic gradient descent (SGD) update scheme, effectively complementing the synchronized processing capabilities of Spark. DeepSpark is an on-going project, and the current release is available at this http URL

연구 동기 및 목표

• 기존 분산 시스템을 사용하여 대규모 데이터셋과 모델 파라미터에 걸쳐 딥 신경망 학습을 확장하는 데 도전 과제를 해결한다.
• 기존 Caffe 기반 딥 러닝 모델과 아키텍처에 대한 원활한 통합을 가능하게 한다.
• Spark의 데이터 관리 기능과 GPU 가속을 통해 효율적이고 확장 가능하며 장애에 강한 분산 학습을 지원한다.
• 학습 처리량을 향상시키고 동기화 병목 현상을 줄이기 위해 새로운 락-프리 비동기 SGD 업데이트 메커니즘을 개발한다.
• 이전 이식 비용을 최소화하기 위해 Caffe의 입력 사양과 학습 워크플로우와의 호환성을 확보한다.

제안 방법

• 다중 노드 간 데이터 분산 및 학습 워크로드 관리를 위해 Apache Spark를 활용한다.
• 각 노드에서 GPU 가속 계산을 위한 기반 딥 러닝 엔진으로 Caffe를 사용한다.
• Spark의 실행 엔진을 통해 모델 파라미터와 데이터를 자동으로 분할하고 Caffe가 실행 중인 노드에 분산한다.
• 동기화 지연 없이 노드 간 파라미터를 업데이트하기 위해 유연한 평균 SGD의 락-프리 비동기 변종을 적용한다.
• 수렴 안정성을 향상시키기 위해 반복적으로 기울기와 모델 업데이트를 유연한 평균 기반으로 집계한다.
• Caffe 호환성을 유지하기 위해 Caffe의 모델 정의 및 솔버 설정 파일을 그대로 수용한다.

실험 결과

연구 질문

• RQ1 기존 Caffe 기반 모델과의 호환성을 유지하면서 대규모 클러스터에 걸쳐 딥 러닝 학습을 효율적으로 확장할 수 있는가?
• RQ2 락-프리 비동기 SGD 변종이 수렴 품질을 훼손하지 않으면서도 학습 처리량을 향상시킬 수 있는가?
• RQ3 Apache Spark의 데이터 관리 기능이 Caffe의 GPU 가속과 효과적으로 조합될 수 있는가?
• RQ4 Spark와 Caffe의 통합이 대규모 딥 러닝 워크로드에서 학습 효율성과 장애 내성에 어떤 영향을 미치는가?
• RQ5 통합 프레임워크를 통해 분산 데이터 처리와 GPU 가속 학습을 조합함으로써 달성 가능한 성능 향상은 어느 정도인가?

주요 결과

• DeepSpark는 Spark의 분산 데이터 처리 기능을 활용하여 Caffe 기반 모델을 대규모 클러스터에서 원활하게 학습시킬 수 있다.
• 락-프리 비동기 SGD 변종은 동기 방법 대비 동기화 오버헤드를 줄이고 학습 처리량을 향상시킨다.
• DeepSpark는 Caffe의 모델 및 솔버 설정 구성과 완전히 호환되어 기존 딥 러닝 아키텍처를 그대로 재사용할 수 있다.
• 이 프레임워크는 여러 노드로 효과적으로 확장되어 데이터와 모델 파라미터를 효율적으로 분산한다.
• Spark의 장애 내성과 Caffe의 GPU 가속을 조합함으로써 DeepSpark는 신뢰성 있고 고성능의 분산 학습을 지원한다.
• 현재 구현은 분산 딥 러닝 워크로드에서의 실현 가능성과 성능 향상을 입증하였으며, 지속적인 개발과 공개가 진행 중이다.