[논문 리뷰] HeterPS: Distributed Deep Learning With Reinforcement Learning Based Scheduling in Heterogeneous Environments
HeterPS는 비균일한 컴퓨팅 자원(CPU, GPU) 간에 대규모 DNN의 학습을 최적화하기 위해 강화학습(RL) 기반 스케줄링을 사용하는 분산 딥 러닝 프레임워크입니다. 동적으로 레이어를 적절한 하드웨어에 할당하고 데이터 및 자원 할당을 관리함으로써 HeterPS는 최신 기술 대비 14.5배 높은 처리량과 312.3% 낮은 금전적 비용을 달성합니다.
Deep neural networks (DNNs) exploit many layers and a large number of parameters to achieve excellent performance. The training process of DNN models generally handles large-scale input data with many sparse features, which incurs high Input/Output (IO) cost, while some layers are compute-intensive. The training process generally exploits distributed computing resources to reduce training time. In addition, heterogeneous computing resources, e.g., CPUs, GPUs of multiple types, are available for the distributed training process. Thus, the scheduling of multiple layers to diverse computing resources is critical for the training process. To efficiently train a DNN model using the heterogeneous computing resources, we propose a distributed framework, i.e., Paddle-Heterogeneous Parameter Server (Paddle-HeterPS), composed of a distributed architecture and a Reinforcement Learning (RL)-based scheduling method. The advantages of Paddle-HeterPS are three-fold compared with existing frameworks. First, Paddle-HeterPS enables efficient training process of diverse workloads with heterogeneous computing resources. Second, Paddle-HeterPS exploits an RL-based method to efficiently schedule the workload of each layer to appropriate computing resources to minimize the cost while satisfying throughput constraints. Third, Paddle-HeterPS manages data storage and data communication among distributed computing resources. We carry out extensive experiments to show that Paddle-HeterPS significantly outperforms state-of-the-art approaches in terms of throughput (14.5 times higher) and monetary cost (312.3% smaller). The codes of the framework are publicly available at: https://github.com/PaddlePaddle/Paddle.
연구 동기 및 목표
- 다양한 CPU 및 GPU 자원을 가진 비균일한 컴퓨팅 환경에서 대규모 딥 뉴럴 네트워크(DNN)를 효율적으로 학습시키는 도전 과제를 해결하기 위해.
- 분산 DNN 학습에서 엄격한 처리량 제약 조건을 충족하면서도 학습 비용을 최소화하기 위해.
- 강화학습을 사용하여 비균일한 자원 간에 DNN 레이어를 지능적으로 스케줄링할 수 있는 확장성 있고 탄력적인 프레임워크를 설계하기 위해.
- 분산 컴퓨팅 노드 간의 I/O 및 통신 오버헤드를 줄이기 위해 데이터 저장 및 통신을 효율적으로 관리하기 위해.
- 기존 프레임워크들인 TensorFlow와 비교해도 뛰어난 성능을 보이는 비용 효율적이고 고처리량의 분산 학습을 가능하게 하기 위해.
제안 방법
- HeterPS는 비균일한 자원 간의 분산 학습과 데이터 관리를 지원하기 위해 파라미터 서버 아키텍처를 사용합니다.
- 각 DNN 레이어를 레이어 특성과 자원 능력에 기반해 가장 적합한 컴퓨팅 자원(CPU 또는 GPU)에 할당하기 위해 강화학습(RL) 기반 스케줄러를 사용합니다.
- 프로파일링 데이터와 처리량 제약 조건에서 최적의 스케줄링 결정을 학습하기 위해 LSTM 기반 정책 네트워크를 사용한 RL 에이전트를 훈련시킵니다.
- 처리량 요구 사항을 충족하면서 비용을 최소화하기 위해 컴퓨팅 자원 수를 동적으로 확장하는 프로비저닝 모듈을 사용합니다.
- 데이터 집약적인 레이어에서 I/O 병목 현상을 줄이기 위해 데이터 관리 기법을 통합하여 데이터 저장 및 통신을 최적화합니다.
- 성능과 비용을 균형 있게 유지하기 위해 스케줄링과 프로비저닝을 통합된 RL 프레임워크를 사용해 공동 최적화합니다.
실험 결과
연구 질문
- RQ1비균일한 컴퓨팅 자원(CPU 및 GPU) 간에 DNN 학습을 어떻게 효율적으로 스케줄링할 수 있을까? 이는 처리량 제약 조건을 충족하면서 비용을 최소화하는 데 초점이 있다.
- RQ2강화학습이 비균일 환경에서 DNN 레이어 스케줄링에 있어 히우리스틱, 근시성, 베이지안 최적화 방법보다 뛰어난 성능을 보일 수 있는가?
- RQ3동적 자원 프로비저닝이 분산 DNN 학습에서 학습 비용과 처리량에 어떤 영향을 미치는가?
- RQ4자원 유형 수와 모델 복잡도가 증가함에 따라 RL 기반 스케줄러는 어떻게 확장되는가?
- RQ5HeterPS는 TensorFlow와 같은 최신 기술 프레임워크에 비해 금전적 비용을 얼마나 줄이고 처리량을 향상시킬 수 있는가?
주요 결과
- HeterPS는 혼합 CPU-GPU 클러스터에서 CTRDNN 모델을 학습할 때 TensorFlow 대비 최대 14.5배 높은 처리량을 달성합니다.
- 최신 스케줄링 방법 대비 최대 312.3% 낮은 금전적 비용을 기록하여 뚜렷한 비용 효율성을 입증합니다.
- 엄격한 처리량 제약 조건 하에서도 강화학습 기반 스케줄러가 근시성, 히우리스틱, 베이지안 최적화 방법보다 비용과 처리량 면에서 뛰어난 성능을 보입니다.
- RL-LSTM 모델의 스케줄링 시간은 전체 학습 시간의 0.2%에서 1.8%에 불과하여 실세계 구현에 실용적입니다.
- 훈련된 RL 모델은 MATCHNET, CTRDNN, 2EMB, NCE 등 다양한 모델에 대해 잘 일반화되며, 각 스케줄링 결정에 대한 추론 시간은 0.002초 이하입니다.
- 프레임워크의 프로비저닝 방법은 기존 방법 대비 자원 활용도를 최대 57.9% 향상시키며, 특히 동적 워크로드 상황에서 유의미한 성능 향상을 보입니다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.