[논문 리뷰] Low-latency job scheduling with preemption for the development of deep learning

Hidehito Yabuuchi, Daisuke Taniwaki외 1명|arXiv (Cornell University)|2019. 02. 05.

Cloud Computing and Resource Management참고 문헌 8인용 수 6

한 줄 요약

이 논문은 자원 소비량과 재시작 가능성에 기반해 우선순위가 낮은(BE) 작업을 선택적으로 중단함으로써 딥러닝 워크로드에서 시도-오류(TE) 작업의 지연을 줄이는 저지연 작업 스케줄링 알고리즘 FitGpp를 제안한다. 이 알고리즘은 FIFO 대비 TE 작업의 95프cntile 지연을 96.6% 감소시켰으며, BE 작업의 중앙값 지연은 18.0% 증가, 95프cntile 지연은 23.9% 증가에 그쳤다.

ABSTRACT

One significant challenge in the job scheduling of computing clusters for the development of deep learning algorithms is the efficient scheduling of trial-and-error (TE) job, the type of job in which the users seek to conduct small-scale experiments while monitoring their processes. Unfortunately, the existing job schedulers to date do not feature well-balanced scheduling for the mixture of TE jobs and best-effort (BE) jobs, or they can handle the mixture in limited situations at most. To fill in this niche, we propose an algorithm that can significantly reduce the latency of TE jobs in versatile situations without greatly elongating the slowdown of the BE jobs. Our algorithm efficiently schedules both TE and BE jobs by selectively preempting the BE jobs that can be, when the time comes, resumed without much delay. In our simulation study with synthetic and real workloads, we were able to reduce the 95th percentile of the slowdown rates for the TE jobs in the standard FIFO strategy by 96.6%, while compromising the median of the BE slowdown rates by only 18.0% and the 95th percentile by only 23.9%.

연구 동기 및 목표

• 딥러닝 클러스터에서 저지연 시도-오류(TE) 작업과 고처리량 우선순위가 낮은(BE) 작업 간의 스케줄링 불균형 문제를 해결하기 위해.
• 혼합 워크로드 환경에서 BE 작업의 지연을 크게 증가시키지 않으면서도 TE 작업의 지연을 줄이기 위해.
• 중단 빈도를 제한하고 재시작이 가능한 작업을 선택하여 BE 작업의 고갈을 방지하는 중단 전략을 설계하기 위해.
• 모든-리듀스 아키텍처를 사용하는 다양한 딥러닝 프레임워크 간의 효율적인 스케줄링을 가능하게 하기 위해.
• 실제 클러스터 워크로드와 동적인 자원 수요에 대응할 수 있는 실용적이고 프로덕션 준비된 솔루션을 제공하기 위해.

제안 방법

• FitGpp 알고리즘은 자원 소비량이 낮고 재시작 가능성이 높은 BE 작업을 우선순위에 따라 선택하여 중단한다. 이는 자원 소비량이 낮고 복원 가능성 높은 작업을 선호하는 점수 함수를 사용한다.
• 선택된 BE 작업은 동적으로 일시정지되어 GPU 자원이 즉시 대기 중인 TE 작업에 할당된다.
• 알고리즘은 BE 작업당 최대 중단 횟수를 설정하여 고갈을 방지하고 공정성을 확보한다.
• 중단의 적극성 수준을 조절하기 위해 매개변수 's'를 사용하며, 이는 TE 작업의 반응성과 BE 작업의 지연 간의 균형을 맞춘다.
• 실행 시간 추정이 필요 없기 때문에, 딥러닝 작업에서 흔한 초모수 민감성 문제에 강건하다.
• 합성 워크로드와 실제 워크로드(예: 대학 클러스터에서의 트레이스 포함) 모두를 지원하며, 다양한 딥러닝 프레임워크와 호환된다.

실험 결과

연구 질문

• RQ1 혼합 딥러닝 워크로드 환경에서 중단 기반 스케줄러가 TE 작업 지연을 크게 줄이되, BE 작업의 지연을 과도하게 증가시키지 않을 수 있는가?
• RQ2 중단 임계값 매개변수 's'의 선택이 TE 작업의 반응성과 BE 작업 성능 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 실행 패턴이 다양하고 장시간 실행되는 BE 작업이 포함된 워크로드에서 중단 전략이 TE 작업 지연을 얼마나 줄일 수 있는가?
• RQ4 다양한 워크로드 비율과 GPU 작업 길이 분포에서 알고리즘이 BE 작업 지연을 낮게 유지할 수 있는가?
• RQ5 실제 클러스터 트레이스에서, FitGpp는 비중단 기반 FIFO 및 다른 중단 전략(LRTP, RAND)보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• s=4.0로 설정한 FitGpp는 FIFO 대비 TE 작업의 95프cntile 지연을 96.6% 감소시켜, 지연율을 2080에서 9.00으로 낮췄다.
• FIFO 대비 BE 작업의 중앙값 지연이 29.6% 감소하여 16.2에서 11.4로 하락했다.
• FIFO 대비 BE 작업의 95프cntile 지연은 18.0% 증가(443에서 372로)했으며, 중앙값 지연 감소율은 16.0%였다.
• FitGpp는 다양한 TE 작업 비율에서도 BE 작업 지연을 낮게 유지했으며, 워크로드 조합에 관계없이 다른 알고리즘보다 뛰어난 성능을 보였다.
• GP 길이 분포의 변동성에 대해 알고리즘의 성능은 강인했으며, s=8.0일 경우 장시간 GP 환경에서 TE 작업 지연 증가를 효과적으로 완화했다.
• 실제 클러스터 트레이스 평가에서, FitGpp는 FIFO 대비 BE 작업의 95프cntile 지연을 16.0% 낮췄으며, TE 작업의 95프cntile 지연은 단 9.00으로 줄였다.