[논문 리뷰] Themis: Fair and Efficient GPU Cluster Scheduling

Kshiteej Mahajan, Arjun Balasubramanian외 5명|arXiv (Cornell University)|2019. 07. 02.

Stochastic Gradient Optimization TechniquesComputer Science참고 문헌 36인용 수 22

한 줄 요약

Themis는 종료시간 공정성이라는 장기적 공정성 메트릭을 도입하여 기계학습 워크로드를 위한 공정하고 효율적인 GPU 클러스터 스케줄러를 제안한다. 이는 각 ML 애플리케이션이 개인 클러스터에서 실행하는 것과 유사한 시간 내에 완료되도록 보장한다. 이는 애플리케이션들이 배치 우선순위를 고려해 GPU 자원을 입찰하는 이중 수준의 경매 기반 스케줄링 아키텍처를 사용하며, 이는 짧은 기간의 효율성과 장기적 공정성을 동시에 확보한다. 부분 할당 경매를 통해 진정성 있는 입찰을 유도함으로써, 이는 장기적 공정성과 짧은 기간의 효율성을 동시에 달성한다.

ABSTRACT

Modern distributed machine learning (ML) training workloads benefit significantly from leveraging GPUs. However, significant contention ensues when multiple such workloads are run atop a shared cluster of GPUs. A key question is how to fairly apportion GPUs across workloads. We find that established cluster scheduling disciplines are a poor fit because of ML workloads' unique attributes: ML jobs have long-running tasks that need to be gang-scheduled, and their performance is sensitive to tasks' relative placement. We propose Themis, a new scheduling framework for ML training workloads. It's GPU allocation policy enforces that ML workloads complete in a finish-time fair manner, a new notion we introduce. To capture placement sensitivity and ensure efficiency, Themis uses a two-level scheduling architecture where ML workloads bid on available resources that are offered in an auction run by a central arbiter. Our auction design allocates GPUs to winning bids by trading off efficiency for fairness in the short term but ensuring finish-time fairness in the long term. Our evaluation on a production trace shows that Themis can improve fairness by more than 2.25X and is ~5% to 250% more cluster efficient in comparison to state-of-the-art schedulers.

연구 동기 및 목표

• 장기적으로 실행되며, 군집 스케줄링이 필요한 기계학습 워크로드의 경우, 기존 클러스터 스케줄러(예: DRF, Quincy)가 배치 민감성을 고려하지 못하는 점을 해결한다.
• 각 ML 애플리케이션이 클러스터의 1/N을 독점적으로 사용하는 것과 유사한 성능을 내도록 보장하는 새로운 장기적 공정성 메트릭인 종료시간 공정성을 도입한다.
• 장기적 공정성과 짧은 기간의 효율성을 동시에 확보하면서도, 기계학습 작업의 배치 우선순위를 존중하는 스케줄링 프레임워크를 설계한다.
• 진정성 있는 경매 메커니즘을 통해 자원 할당에서 파레토 효율성과 질투 없음을 보장한다.
• 중앙 집중식 중재자와 애플리케이션 수준의 입찰 라운드를 포함하는 이중 수준 스케줄링 아키텍처를 통해 실용적인 구현을 가능하게 한다.

제안 방법

• 임대 기간 종료 시 트리거되는 라운드별 경매 메커니즘을 도입하여, 애플리케이션이 예상 종료시간 공정성을 기반으로 가용 GPU 자원에 입찰한다.
• 숨겨진 지불 방식을 사용하는 부분 할당 경매를 통해 진정성, 파레토 효율성, 질투 없음을 설계 단계에서 보장하며, 전략적 거짓 보고를 억제한다.
• 다양한 GPU 구성에서의 예상 성능을 반영하는 입찰 값으로 애플리케이션이 배치 우선순위(예: 고밀도 또는 산재 배치)를 표현할 수 있도록 한다.
• 중앙 집중식 애플리케이션 간 스케줄러(중재자)와 애플리케이션 내부 스케줄러로 구성된 이중 수준 스케줄링 아키텍처를 구현한다. 이는 임대 기반 작업 실행을 관리한다.
• 공정성 노브 f 기반으로 종료시간 공정성 지표가 가장 열 劣한 애플리케이션을 걸러내어, 가장 필요한 애플리케이션을 우선 처리함으로써 전체 공정성을 향상시킨다.
• 체크포인트 및 자원 재할당을 가능하게 하면서도 오버헤드를 최소화하기 위해 10분 기본값의 임대 기반 스케줄링을 사용한다.

실험 결과

연구 질문

• RQ1 장기적으로 실행되며, 군집 스케줄링이 필요한 기계학습 워크로드에 대해, 배치 민감성을 고려할 때 공정성은 어떻게 의미 있게 정의할 수 있는가?
• RQ2 배치 인식 성능를 희생시키지 않고도, 짧은 기간의 효율성과 장기적 공정성을 동시에 달성할 수 있는 스케줄링 시스템은 가능한가?
• RQ3 기계학습 워크로드를 위한 동적이고 다중 라운드의 GPU 경매에서, 어떻게 정직한 입찰를 유도할 수 있는가?
• RQ4 임대 기간과 공정성 노브 조정이 공정성과 클러스터 활용도에 미치는 영향은 어떠한가?
• RQ5 제안된 경매 메커니즘이 최신 기술 수준의 스케줄러보다 공정성과 효율성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• Themis는 생산 환경 트레이스에서 최신 기술 수준의 스케줄러보다 공정성을 2.25배 이상 향상시켰다.
• 워크로드 특성에 따라 Themis는 기존 스케줄러 대비 클러스터 효율성을 5%에서 250%까지 높였다.
• 부분 할당 경매 메커니즘이 정직한 입찰를 효과적으로 유도하며, 거짓 보고 전략은 최대 X ≤ 34%까지만 유리하게 작용하고, 이를 초과하면 입찰자 자신이 심각한 자원 손실을 입는다.
• 공정성 노브 f = 0.8과 임대 시간 = 10분을 설정하면 공정성과 효율성 사이의 최적의 균형을 확보할 수 있으며, f = 1.0일 경우 입찰 경쟁이 감소해 성능 저하를 피할 수 있다.
• 작은 임대 시간은 대기 지연을 줄여 공정성을 향상시키고, 높은 임대 값은 체크포인트 빈도를 감소시켜 효율성을 높인다.
• 시스템은 설계 단계에서 파레토 효율성과 질투 없음을 유지하여, 한 애플리케이션이 다른 애플리케이션의 성과를 해치지 않고도 성과를 향상시킬 수 없도록 보장한다.