[논문 리뷰] Demystifying Parallel and Distributed Deep Learning: An In-Depth Concurrency Analysis

Tal Ben‐Nun, Torsten Hoefler|arXiv (Cornell University)|2018. 02. 26.

Stochastic Gradient Optimization Techniques참고 문헌 253인용 수 212

한 줄 요약

단일 연산자에서 분산 규모의 학습에 이르는 딥러닝의 동시성 분석에 대한 포괄적 조사로, 병렬성 전략에 대한 모델과 시사점을 포함합니다.

ABSTRACT

Deep Neural Networks (DNNs) are becoming an important tool in modern computing applications. Accelerating their training is a major challenge and techniques range from distributed algorithms to low-level circuit design. In this survey, we describe the problem from a theoretical perspective, followed by approaches for its parallelization. We present trends in DNN architectures and the resulting implications on parallelization strategies. We then review and model the different types of concurrency in DNNs: from the single operator, through parallelism in network inference and training, to distributed deep learning. We discuss asynchronous stochastic optimization, distributed system architectures, communication schemes, and neural architecture search. Based on those approaches, we extrapolate potential directions for parallelism in deep learning.

연구 동기 및 목표

• 병렬 및 분산 딥러닝에 대한 용어 정의와 기초 알고리즘 정의.
• DNN 연산자, 네트워크 아키텍처 및 학습/추론 워크플로우 전반의 동시성 분석.
• 분산 DL과 관련된 병렬 컴퓨터 아키텍처, 통신 방식 및 시스템 구현에 대한 검토.
• Work-Depth 프레임워크를 사용하여 동시성을 모델링하고 병렬화 전략을 주도하는 동향을 식별.

제안 방법

• DNN 연산자와 그 계산 모델에 대한 조사와 분류.
• 합성곱, 풀링 및 정규화 연산자의 공식화와 관련 텐서 데이터 흐름.
• 확률적 최적화와 가중치 업데이트 규칙에 대한 논의, SGD 및 역전파를 포함한 미니배치 SGD 포함.
• Work-Depth 모델을 적용하여 병렬성을 특성화하고 DAG 기반 계산의 경계를 도출.
• 단일 머신 대 다중 머신 병렬성 분석, MPI 및 RDMA 기반 통신 포함.

실험 결과

연구 질문

• RQ1 DNN 연산자는 어떻게 동시성을 노출하고 병렬성에 대한 시사점은 무엇인가요?
• RQ2 미니배치 SGD에서 동시성, 정확도, 하드웨어 활용도 간의 트레이드오프는 무엇인가요?
• RQ3 분산 아키텍처와 통신 전략이 DNN의 확장 가능한 학습 및 추론에 어떤 영향을 미치나요?
• RQ4 병렬 프로그래밍 모델과 라이브러리(예: MPI, CUDA, Spark)가 분산 딥러닝에서 어떤 역할을 하나요?
• RQ5 딥러닝 작업에서 더 높은 병렬성을 달성하기 위한 향후 방향은 무엇인가요?

주요 결과

• GPU 가속 노드가 DL 연구의 주도권을 차지하고 분산 메모리 시스템은 대규모 학습에 점점 더 필수적입니다.
• Allreduce 및 기타 집계 통신 패턴은 분산 DL의 핵심 병목이며 최적화된 HPC 기법의 이점을 얻습니다.
• 미니배치 크기는 통계적 일반화와 하드웨어 활용의 균형을 결정적으로 좌우하며, 이론과 실험적 증거가 워밍업, 학습률 스케줄 및 분산 제어를 안내합니다.
• 합성곱, 풀링, 정규화 연산자가 DL 워크로드의 주요 계산 커널이며 이들의 병렬화 전략을 주도합니다.
• DNN 학습 및 추론은 작업과 깊이 특성화가 가능한 DAG로 매핑될 수 있으며, Work-Depth 모델을 통한 병렬성 분석을 가능하게 합니다.