[논문 리뷰] Aryl: An Elastic Cluster Scheduler for Deep Learning

Jiamin Li, Hong Xu외 4명|arXiv (Cornell University)|2022. 02. 16.

Cloud Computing and Resource Management인용 수 5

한 줄 요약

Aryl은 공유된 추론 GPU 클러스터에서 비활성 상태인 자원을 훈련 작업에 유연하게 빌려주는 신규 클러스터 스케줄러이다. 동적 스케일링과 지능적인 프리에프프션 히우리스틱스를 활용하여 대기 시간을 단축하고 활용도를 향상시킨다. 기준 스케줄러 대비 평균 대기 시간은 1.53배, 작업 완료 시간은 1.50배 감소시키며, 대규모 시뮬레이션에서 최대 26.9% 높은 클러스터 활용도를 달성한다.

ABSTRACT

Companies build separate training and inference GPU clusters for deep learning, and use separate schedulers to manage them. This leads to problems for both training and inference: inference clusters have low GPU utilization when the traffic load is low; training jobs often experience long queueing time due to lack of resources. We introduce Aryl, a new cluster scheduler to address these problems. Aryl introduces capacity loaning to loan idle inference GPU servers for training jobs. It further exploits elastic scaling that scales a training job's GPU allocation to better utilize loaned resources. Capacity loaning and elastic scaling create new challenges to cluster management. When the loaned servers need to be returned, we need to minimize the number of job preemptions; when more GPUs become available, we need to allocate them to elastic jobs and minimize the job completion time (JCT). Aryl addresses these combinatorial problems using principled heuristics. It introduces the notion of server preemption cost which it greedily reduces during server reclaiming. It further relies on the JCT reduction value defined for each additional worker for an elastic job to solve the scheduling problem as a multiple-choice knapsack problem. Prototype implementation on a 64-GPU testbed and large-scale simulation with 15-day traces of over 50,000 production jobs show that Aryl brings 1.53x and 1.50x reductions in average queuing time and JCT, and improves cluster usage by up to 26.9% over the cluster scheduler without capacity loaning or elastic scaling.

연구 동기 및 목표

• 피크 시간 외에 추론 클러스터에서 낮은 GPU 활용도 문제와 자원 부족으로 인한 장기적인 훈련 작업 대기 시간 문제를 해결하기 위해.
• 저조도 기간 동안 비활성 상태인 추론 GPU 서버를 훈련 워크로드와 유연하게 공유하기 위해 자원 빌리기 기능을 제공하기 위해.
• 탄력적인 훈련 작업 스케일링 중 서버 회수 시 작업 프리에프프션 비용을 최소화하고, 작업 완료 시간(JCT)을 감소시키기 위해.
• 이질적인 GPU 가용성과 변동하는 작업 자원 요구량을 효율적으로 처리할 수 있는 스케줄링 시스템을 설계하기 위해.
• 전체 클러스터 활용도를 향상시키면서도 훈련 작업의 낮은 대기 지연을 유지하기 위해.

제안 방법

• 비활성 상태인 추론 GPU 서버를 저조도 기간 동안 일시적으로 훈련 작업에 할당할 수 있도록 자원 빌리기 기능을 도입한다.
• 탄력적 스케일링을 적용하여 훈련 작업이 가용 자원에 따라 GPU 워커 수를 동적으로 증감시킬 수 있도록 한다.
• 두 단계 스케줄링 접근 방식을 사용한다: 먼저 비탄력적(고정) 자원 요구량을 할당하고, 이후 다중 선택 배낭 문제 공식화를 활용해 탄력적 작업을 스케일아웃하여 JCT를 최소화한다.
• 서버 회수 시 프리에프프션 비용을 최소화하기 위해 종속된 항목 값이 있는 배낭 기반 히우리스틱스를 적용하며, 프리에프프션 영향이 낮은 작업을 우선순위로 한다.
• 워커-서버 배치에 최적의 적합 감소 정책(best-fit-decreasing)을 사용하여 이질적인 GPU 서버 간의 분할을 줄인다.
• 실행 시간 예측을 활용하고, 예측 오차 상황에서도 성능을 유지함을 검증하며, 최대 60%의 잘못된 예측(오차 범위 25% 이내) 상황에서도 여전히 기준 대비 1.76배의 대기 지연 개선 성과를 기록한다.

실험 결과

연구 질문

• RQ1 비활성 상태인 추론 GPU 클러스터를 추론 서비스 품질에 영향을 주지 않으면서 훈련 작업에 효과적으로 빌려줄 수 있는가?
• RQ2 트래픽 급증 시 빌려준 서버를 회수할 때 프리에프프션 비용을 어떻게 최소화할 수 있는가?
• RQ3 추가 GPU를 탄력적인 훈련 작업에 할당하는 최적의 전략은 무엇인가, 이를 통해 작업 완료 시간을 최소화할 수 있는가?
• RQ4 비탄력적 및 탄력적 작업이 이질적인 GPU 가용성과 함께 공존할 때 스케줄러는 어떻게 대응하는가?
• RQ5 작업 실행 시간 예측의 정확도가 떨어질 경우 스케줄러의 성능은 얼마나 저하되는가?

주요 결과

• Aryl은 자원 빌리기 및 탄력적 스케일링 기능이 없는 기준 스케줄러 대비 평균 대기 시간을 1.53배 감소시키고, 작업 완료 시간을 1.50배 감소시킨다.
• 15일 간의 5만 개 이상의 생산 워크로드 트레이스를 활용한 대규모 시뮬레이션에서 클러스터 활용도가 최대 26.9% 향상된다.
• 실행 시간 예측이 60% 잘못된 경우(오차 범위 25% 이내)에도 Aryl은 기준 대비 1.76배의 대기 지연 개선 성과를 유지한다.
• 배낭 기반의 프리에프프션 히우리스틱스는 서버 회수 시 프리에프프션 비용을 효과적으로 줄여 작업의 중단을 최소화한다.
• 탄력적 작업 스케일링을 위한 다중 선택 배낭 문제 공식화는 실질적으로 JCT를 최소화하는 데 성공하며, 일반적으로 동적 프로그래밍으로 해결 가능하다.
• 시스템은 예측 오차에 대해 뛰어난 내구성을 보이며, 현실적인 워크로드 조건에서도 뚜렷한 성능 향상을 유지한다.