[논문 리뷰] Shockwave: Fair and Efficient Cluster Scheduling for Dynamic Adaptation in Machine Learning

Pengfei Zheng, Rui Pan외 3명|arXiv (Cornell University)|2022. 09. 30.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

Shockwave는 동적 자원 적응을 수반하는 기계학습 작업을 실행하는 GPU 클러스터에서 공정성과 효율성을 동시에 최적화하는 능동적이고 시장 이론 기반의 스케줄러이다. 시간에 따라 변하는 유틸리티 함수를 다루기 위해 피셔 시장 평형을 확장하고, 베이지안 예측을 활용한 확률적 동적 프로그래밍을 적용함으로써, 트레이스 기반 실험과 실제 클러스터 실험에서 기존 스케줄러 대비 메이크스팬을 1.3배 감소시키고 공정성을 2배 향상시킨다.

ABSTRACT

Dynamic adaptation has become an essential technique in accelerating distributed machine learning (ML) training. Recent studies have shown that dynamically adjusting model structure (e.g., lottery ticket hypothesis) or hyperparameters (e.g., batch size) can significantly accelerate training without sacrificing accuracy. However, existing ML cluster schedulers are not designed to handle dynamic adaptation. We show that existing schemes fail to provide fairness and degrade system efficiency when the training throughput changes over time under dynamic adaptation. We design Shockwave, a scheduler with future planning that builds on two key ideas. First, Shockwave extends classic market theory from static settings to dynamic settings to co-optimize efficiency and fairness. Second, Shockwave utilizes stochastic dynamic programming to handle dynamic changes. We build a system for Shockwave and validate its performance with both trace-driven simulation and cluster experiments. Results show that for traces of ML jobs with dynamic adaptation, Shockwave improves makespan by 1.3X and fairness by 2X when compared with existing fair scheduling schemes.

연구 동기 및 목표

• 기계학습 작업의 동적 적응(예: 배치 크기 변경)을 처리할 때 기존 클러스터 스케줄러의 공정성과 효율성 부족 문제를 해결하기 위해.
• 반응적인 방식이 아닌 향후 자원 수요를 사전에 계획하는 스케줄러를 설계하기 위해.
• 시간에 따라 변하는 작업 유틸리티와 자원 요구사항이 존재하는 상황에서 장기적인 공정성과 시스템 효율성을 동시에 최적화하기 위해.
• 예측 오차와 작업 행동의 동적 변화에 대한 강건성을 확보하기 위해.
• 트레이스 기반 시뮬레이션과 실제 클러스터 실험을 통해 스케줄러의 우수성을 검증하기 위해.

제안 방법

• 모든 작업이 동일한 예산을 가지며, 시장이 균형에 도달하도록 하는 이산 시간 동적 피셔 시장 모델을 수립하여 효율성과 공정성을 보장한다.
• 시간에 따라 변하는 작업 유틸리티(예: 배치 크기 스케일링에 따른 처리량 변화)를 다루기 위해 고전적 시장 이론을 확장하고, 확률적 동적 프로그래밍을 적용한다.
• 베이지안 통계와 보간법을 활용해 동적 적응 상황에서의 작업 실행 시간과 스케줄링 여유 시간을 예측한다.
• 제한된 갭을 갖는 최적해에 근접한 할당을 계산하기 위해 타임아웃 제어 스olver(Gurobi 등)를 사용하여 스케줄링 오버헤드를 최소화한다.
• 불균형한 작업 진전을 방지하기 위해 페널티를 적용하는 나시 사회복지 목적함수를 도입하여 보수적이고 공정한 할당 결정을 유도한다.
• 미래 유틸리티 변화를 고려해 라운드 단위로 작업을 능동적으로 스케줄링함으로써 반응적인 재우선순위 부여로 인한 효율성 저하를 방지한다.

실험 결과

연구 질문

• RQ1 기계학습 작업이 시간에 따라 자원 수요를 동적으로 변화시킬 때, 시장 기반 스케줄러가 공정성과 효율성을 유지할 수 있는가?
• RQ2 미래 계획을 고려한 능동적 스케줄링은 동적 적응 워크로드에서 반응적 또는 정적 스케줄링보다 어떻게 비교되는가?
• RQ3 작업 실행 시간 예측 오차가 스케줄러의 공정성과 효율성에 미치는 영향은 어느 정도인가?
• RQ4 시간에 따라 변하는 유틸리티를 갖는 동적 시장 공식화가 기존의 공정 스케줄러(DRF, Themis, AlloX 등)보다 더 나은 시스템 수준 성능을 달성할 수 있는가?
• RQ5 솔버 오버헤드와 실시간 성능가 실제 클러스터 환경에서의 생산적 배포에 어떤 영향을 미치는가?

주요 결과

• Shockwave는 트레이스 기반 시뮬레이션에서 최신 기술의 공정 스케줄러인 Themis, Gavel, AlloX와 비교해 메이크스팬을 1.3배 감소시켰다.
• 동적 적응 상황에서 기존 스케줄러 대비 공정성(Footprint Time Fairness 및 불공정하게 스케줄된 작업 비율 측정)을 2배 향상시켰다.
• 솔버 오버헤드는 극히 미미하며, 500개 작업 기준 15초 타임아웃 시 갭은 0.03%에 불과하고, 2000개 작업 기준으로도 0.44%에 머물러 있어 높은 확장성과 낮은 지연을 보였다.
• Shockwave는 예측 오차에 강건하다: 실행 시간 예측에 ±100%의 노이즈가 존재하더라도 공정성은 천천히 저하되며, 베이스라인과 비교해 유사한 성능을 유지한다.
• 반응적 접근에 비해 Shockwave의 능동적 계획 수립이 현저히 뛰어나며, 반응적인 재우선순위 부여 방식은 초기 효율성 저하를 보완하지 못한다.
• Shockwave의 나시 사회복지 목적함수 적용으로 불균형한 작업 진전을 방지하여 보수적이고 공정한 스케줄링 결정을 보장한다.