[논문 리뷰] Scalable Deep Learning on Distributed Infrastructures: Challenges, Techniques and Tools

Ruben Mayer, Hans‐Arno Jacobsen|arXiv (Cornell University)|2019. 03. 27.

Advanced Neural Network Applications참고 문헌 189인용 수 45

한 줄 요약

다분산 인프라에서 확장 가능한 딥 러닝의 도전 과제, 기법 및 도구에 대한 포괄적 조사로, 11개의 open-source 프레임워크 비교 및 병렬화, 스케줄링, 데이터 관리 분석을 포함합니다.

ABSTRACT

Deep Learning (DL) has had an immense success in the recent past, leading to state-of-the-art results in various domains such as image recognition and natural language processing. One of the reasons for this success is the increasing size of DL models and the proliferation of vast amounts of training data being available. To keep on improving the performance of DL, increasing the scalability of DL systems is necessary. In this survey, we perform a broad and thorough investigation on challenges, techniques and tools for scalable DL on distributed infrastructures. This incorporates infrastructures for DL, methods for parallel DL training, multi-tenant resource scheduling and the management of training and model data. Further, we analyze and compare 11 current open-source DL frameworks and tools and investigate which of the techniques are commonly implemented in practice. Finally, we highlight future research trends in DL systems that deserve further research.

연구 동기 및 목표

• 자원, 데이터 이동, 탄성 등 분산 인프라에서 확장 가능한 딥 러닝을 관리하는 데 있어 주요 도전 과제를 평가합니다.
• 데이터, 모델, 파이프라인, 하이브리드 방식의 병렬 DL 학습 기법을 분류하고 요약하며 그 트레이드오프를 분석합니다.
• 실용적 확장성을 위한 오픈 소스 DL 프레임워크와 오케스트레이션 도구를 평가합니다.
• 대규모 DL 배치에서 데이터 관리 및 다중 테넌시 이슈를 논의합니다.
• 딥 러닝 시스템의 향후 연구 과제와 방향을 강조합니다.

제안 방법

• 확장 가능한 DL 시스템에 관한 기존 문헌의 조사 및 종합.
• 병렬화 전략(데이터, 모델, 파이프라인, 하이브리드)의 분류 및 그 트레이드오프.
• 11개의 오픈 소스 DL 프레임워크와 도구의 분석 및 비교.
• 인프라 구성 요소, 하드웨어 동향 및 상호 연결에 대한 논의.
• 다중 테넌트 환경에서의 스케줄링, 탄성 및 데이터 관리 평가.
• DL 시스템의 향후 연구 과제에 대한 전망.

실험 결과

연구 질문

• RQ1 분산 인프라에서 대규모 DL을 관리하는 주요 도전 과제는 무엇인가?
• RQ2 어떤 병렬화 기법(data, model, pipeline, hybrid)이 사용되며 어떻게 비교되는가?
• RQ3 중앙 집중식 및 분산 파라미터 동기화 방식은 실제로 어떻게 수행되는가?
• RQ4 어떤 오픈 소스 프레임워크와 도구가 확장 가능한 DL 기술을 구현하며, 이것이 하드웨어/인프라에 어떻게 매핑되는가?
• RQ5 확장 가능한 DL 시스템의 열린 연구 방향과 미래 동향은 무엇인가?

주요 결과

• 딥 러닝 확장성은 모델 크기, 학습 데이터 양, 그리고 하드웨어 인프라 가용성의 세 차원에 달려 있다.
• 하드웨어 이질성과 대규모 저장소 인프라는 특화된 인터커넷, 최적화 및 맞춤형 DL 런타임의 필요성을 촉진한다.
• 데이터, 모델 및 파이프라인 병렬성(및 Mesh-TensorFlow와 같은 하이브리드)이 분산 자원 간의 학습 확장의 핵심 전략이다.
• 파라미터 동기화 아키텍처(중앙 집중식 파라미터 서버 대 분산 All-Reduce)는 처리량, 장애 허용성 및 배포 복잡성에서 트레이드오프를 제시한다.
• 오픈 소스 DL 프레임워크 및 도구가 분산 DL 기술을 구현하는 것이 널리 채택되고 있으며 자동 최적화와 스케줄링에 대한 연구가 계속되고 있다.
• 향후 DL 시스템 연구는 다중 테넌시, 데이터 관리 및 공유 클러스터와 클라우드 환경에서의 엔드투엔드 확장성에 초점을 맞춰야 한다.