[논문 리뷰] Themis: Fair and Efficient GPU Cluster Scheduling for Machine Learning Workloads

Kshiteej Mahajan, Arjun Singhvi외 7명|arXiv (Cornell University)|2019. 07. 02.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

Themis는 기계 학습 워크로드를 위한 새로운 GPU 클러스터 스케줄링 프레임워크로, 이중 수준의 경매 기반 할당 시스템을 통해 완료 시간 공정성을 보장한다. GPU 할당을 동적 경매로 모델링함으로써 우선순위가 공정성과 효율성의 상충 관계에 따라 결정되며, 최신 스케줄러보다 높은 클러스터 활용도와 향상된 공정성을 달성한다.

ABSTRACT

Modern distributed machine learning (ML) training workloads benefit significantly from leveraging GPUs. However, significant contention ensues when multiple such workloads are run atop a shared cluster of GPUs. A key question is how to fairly apportion GPUs across workloads while ensuring overall cluster efficiency. We find that established cluster scheduling disciplines that provide instantaneous fair share of resources are a poor fit because of ML workloads' unique attributes. ML jobs are typically long running, have coarse grained tasks that need to be gang-scheduled, and their performance is sensitive to tasks' relative placement. These properties cannot be captured by existing fair sharing schemes. We propose Themis, a new scheduling framework for ML training workloads. It's GPU allocation policy enforces that ML workloads complete in a finish-time fair manner, a new notion we introduce. To capture placement sensitivity and ensure efficiency, Themis uses a two-level scheduling architecture where ML workloads bid on available resources that are offered in an auction run by a central arbiter. Our auction design allocates GPUs to winning bids by trading off efficiency for fairness in the short term but compensating for finish-time fairness in the long term. Our evaluation on a number of machine learning models shows that Themis can ensure greater fairness while providing more efficient allocations compared to state-of-the-art schedulers.

연구 동기 및 목표

• 장시간 실행되며 군집 스케줄링을 요구하는 기계 학습 워크로드를 위한 기존의 공정 공유 스케줄링의 한계를 해결하기 위해.
• 기계 학습 훈련에서의 배치 감도 및 작업 동시배치 요구사항을 고려한 스케줄링 프레임워크를 설계하기 위해.
• 자원 할당 비율에 비례해 완료되는 완료 시간 공정성을 확보하면서도 높은 클러스터 효율성을 유지하기 위해.
• 자원 입찰과 중앙 집중식 중재를 분리하여 대규모 클러스터에서 확장 가능한 이중 수준 스케줄링 아키텍처를 개발하기 위해.
• 실제 기계 학습 워크로드를 사용하여 최신 스케줄러와의 비교 평가를 수행하고, 공정성 및 효율성 향상 정도를 정량화하기 위해.

제안 방법

• Themis는 작업이 자원 할당 비율에 비례해 완료되는 것을 보장하는 새로운 공정성 메트릭인 완료 시간 공정성(finish-time fairness)을 도입한다.
• 이중 수준 스케줄링 아키텍처를 활용한다: 각 노드에 위치한 로컬 스케줄러가 기계 학습 작업으로부터 입찰을 수렴하고, 중앙 집중식 중재자가 경매를 통해 GPU를 할당한다.
• 경매 메커니즘은 긴급성, 공정성, 효율성을 종합적으로 고려한 복합 점수에 따라 입찰를 우선순위 정렬하며, 단기적 효율성 향상은 장기적 공정성 보상으로 상쇄된다.
• 작업이 자원 필요량과 우선순위를 반영한 입찰을 제출하는 동적 입찰 시스템을 통해 GPU 할당 결정을 내린다.
• 모든 작업에 필요한 GPU가 함께 할당되도록 보장함으로써 군집 스케줄링을 시행하여, 작업의 위치 감도를 유지한다.
• 과거 성능 및 공정성 메트릭을 기반으로 향후 입찰를 조정하는 피드백 루프를 통해 장기적 균형을 유지한다.

실험 결과

연구 질문

• RQ1 공유 GPU 클러스터에서 기계 학습 워크로드의 완료 시간 공정성을 달성하면서도 클러스터 효율성을 희생시키지 않는 스케줄링 프레임워크는 가능한가?
• RQ2 배치 감도 및 군집 스케줄링 제약 조건은 공정하고 효율적인 GPU 스케줄러 설계에 어떤 영향을 미치는가?
• RQ3 경매 기반 메커니즘은 기계 학습 클러스터 스케줄링에서 단기적 효율성과 장기적 공정성 사이를 얼마나 잘 균형 잡을 수 있는가?
• RQ4 제안된 이중 수준 아키텍처는 대규모 GPU 클러스터에서 확장성과 반응성을 유지하는가?
• RQ5 기존 스케줄러 대비 Themis는 공정성 및 자원 활용도 측면에서 어떤 성능 향상을 제공하는가?

주요 결과

• Themis는 최신 스케줄러 대비 유의미하게 높은 완료 시간 공정성을 달성하여, 자원 할당 비율에 비례해 작업이 완료되도록 보장한다.
• 동적 입찰을 통해 자원 수요와 공급을 더 잘 맞추고 GPU의 유휴 시간을 줄임으로써 클러스터 효율성을 향상시킨다.
• 군집 스케줄링을 강제 적용함으로써 기계 학습 워크로드가 작업 배치 및 동시배치에 민감한 경우에도 높은 성능을 유지한다.
• 경매 기반 할당 메커니즘은 단기적 효율성 향상을 가능하게 하며, 장기적으로는 공정성 편차를 보상함으로써 장기적 균형을 확보한다.
• 다양한 기계 학습 모델에 대한 평가 결과, 여러 벤치마크 시나리오에서 Themis가 기존 스케줄러보다 공정성 및 활용도 메트릭 측면에서 뛰어난 성능을 보였다.