[논문 리뷰] Near Delay-Optimal Scheduling of Batch Jobs in Multi-Server Systems

Yin Sun, C. Emre Koksal외 1명|arXiv (Cornell University)|2023. 09. 28.

Advanced Queuing Theory AnalysisBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 뉴-베터-더너-유즈드(NBU) 서비스 시간 분포를 갖는 다중 서버 시스템에서 배치 작업을 위한 근사 지연 최적 스케줄링 정책—가장 적은 할당되지 않은 작업 수(FUT), 가장 빠른 도착일자(EDD), 선도선행(FCFS)—을 제안한다. FUT 정책이 평균 평균 지연에서 최적성과의 상수 추가 지연 갭을 확보함을 증명하며, FCFS는 평균 최대 지연과 p-노름 지연에서 최적의 두 배 이내의 성능을 보임을 입증하였다. 이는 샘플 경로 스토크라스틱 순서 기법을 통해 이루어졌다.

ABSTRACT

We study a class of scheduling problems, where each job is divided into a batch of unit-size tasks and these tasks can be executed in parallel on multiple servers with New-Better-than-Used (NBU) service time distributions. While many delay optimality results are available for single-server queueing systems, generalizing these results to the multi-server case has been challenging. This motivated us to investigate near delay-optimal scheduling of batch jobs in multi-server queueing systems. We consider three lowcomplexity scheduling policies: the Fewest Unassigned Tasks first (FUT) policy, the Earliest Due Date first (EDD) policy, and the First-Come, First-Served (FCFS) policy. We prove that for arbitrary number, batch sizes, arrival times, and due times of the jobs, these scheduling policies are near delay-optimal in stochastic ordering for minimizing three classes of delay metrics among all causal and non-preemptive policies. In particular, the FUT policy is within a constant additive delay gap from the optimum for minimizing the mean average delay, and the FCFS policy within twice of the optimum for minimizing the mean maximum delay and the mean p-norm of delay. The key proof tools are several novel samplepath orderings, which can be used to compare the sample-path delay of different policies in a near-optimal sense.

연구 동기 및 목표

• 일반적인 단일 서버 지연 최적 결과를 다중 서버 시스템으로 일반화하는 데 있어 전례 없이 어려운 도전 과제를 해결한다.
• 다중 서버 결정론적 시스템에서 평균 지연 최소화 문제가 NP-난해임을 극복하고, 다중 클래스 다중 서버 환경에서의 확률적 스케줄링 문제의 비가역성을 해결한다.
• 임의의 작업 파rameter에 대해 다양한 지연 지표에서 증명 가능하게 근사 최적인 저복잡도, 인과적, 비선점 스케줄링 정책을 개발한다.
• 특정 시스템 모델 가정에 의존하지 않고 정책 성능을 비교하기 위한 통합된 샘플 경로 방법을 개발한다.

제안 방법

• 다중 서버 시스템에서 인과적, 비선점 작업 할당을 위해 설계된 저복잡도 스케줄링 정책 세 가지—FUT, EDD, FCFS—를 도입한다.
• 다른 정책의 지연 성능을 비교하기 위해 새로운 샘플 경로 순서를 사용하여, 전체 시스템 모델 사양이 필요 없이도 스토크라스틱 지배 관계를 비교할 수 있도록 한다.
• 스토크라스틱 지배($\leq_{\text{st}}$) 및 증가 볼록 순서($\leq_{\text{icx}}$)와 같은 스토크라스틱 순서를 사용하여 NBU 분포 하에서 잔여 서비스 시간을 경계한다.
• 지속성 없는 성질과 순서 통계량을 활용하여, 지속성 없는 성질을 이용해 잔여 NBU 서비스 시간의 지배자로 지수 분포 랜덤 변수를 사용하여 완료 지연의 상한을 유도한다.
• 정책 경로 간의 쌍대화를 구성하여 약한 작업 효율성 순서를 증명함으로써, 한 정책이 다른 정책보다 항상 동일하거나 더 나은 지연 성능를 보임을 보장한다.
• 활성 서버들에 대한 최대 잔여 서비스 시간의 조건부 기대값을 활용하여 지연 갭의 분석적 경계를 유도하며, 기억 없음 성질과 순서 통계량의 특성을 활용한다.

Figure 1 : A centralized queueing system, where a scheduler assigns the tasks of arrived jobs to the servers.

실험 결과

연구 질문

• RQ1 저복잡도 스케줄링 정책가 임의의 작업 파rameter와 NBU 서비스 시간 분포를 갖는 다중 서버 배치 작업 시스템에서 근사 지연 최적성을 달성할 수 있는가?
• RQ2 FUT 정책은 최적의 평균 평균 지연과 얼마나 가까이 도달할 수 있으며, 최적성과의 상수 추가 지연 갭은 얼마인가?
• RQ3 FCFS 정책이 평균 최대 지연과 지연의 p-노름을 최소화할 때 어떤 성능 보장을 확보할 수 있는가?
• RQ4 특정 시스템에 의존하지 않고 다양한 스케줄링 정책 간의 지연을 비교하기 위한 통합된 샘플 경로 방법을 개발할 수 있는가?
• RQ5 FUT, EDD, FCFS 정책가 일반적인 지연 지표 클래스에서 근사 지연 최적성을 달성하는 데 있어 어떤 조건을 필요로 하는가?

주요 결과

• FUT 정책은 최적의 평균 평균 지연과의 상수 추가 지연 갭을 확보하며, 이 경계는 서버 서비스 속도와 작업당 작업 수에만 의존한다.
• FCFS 정책은 평균 최대 지연과 평균 $p$-노름 지연을 최소화할 때 최적값의 두 배 이내에 머무르며, 승수 성능 보장을 제공한다.
• FUT 정책의 경우, 모든 작업이 할당된 이후의 예상 완료 지연은 $\sum_{l=1}^{k_i \wedge m} \frac{1}{\sum_{j=1}^{l} \mu_j}$로 경계되며, 이는 $\ln(k_i \wedge m) + 1$ 이하로도 상한을 설정할 수 있다.
• NBU 분포 하에서 부분적으로 완료된 작업의 잔여 서비스 시간은 동일한 평균을 갖는 지수 분포 랜덤 변수에 의해 스토크라스틱적으로 지배되며, 이는 경계의 취급 가능성을 보장한다.
• 샘플 경로 방법을 통해 FUT는 다른 모든 인과적, 비선점 정책보다 약하게 더 높은 작업 효율성을 확보하며, 샘플 경로 비교에서 항상 더 나은 또는 동일한 지연 성능를 보임을 보장한다.
• 작업 도착 시간, 도착 마감 시간, 배치 크기, 작업 수에 관계없이 결과가 성립하며, 정적 분포가 존재하지 않는 비정적 도착 과정에서도 유효하다.

Figure 2 : An illustration of $V_{i}$ and $C_{i}$ . There are 2 servers, and job $i$ has 3 tasks denoted by $(i,1)$ , $(i,2)$ , $(i,3)$ . Tasks $(i,1)$ and $(i,3)$ are assigned to Server 1, and Task $(i,2)$ is assigned to Server 2. By time $V_{i}$ , all tasks of job $i$ have started service. By time