[논문 리뷰] On Delay-Optimal Scheduling in Queueing Systems with Replications

Yin Sun, C. Emre Koksal외 1명|arXiv (Cornell University)|2016. 03. 23.

Advanced Queuing Theory Analysis참고 문헌 40인용 수 35

한 줄 요약

이 논문은 스트래글러 효과를 완화하기 위해 작업 복제를 활용하는 대기열 시스템에 대해 저복잡도이자 지연 최적의 스케줄링 정책을 제안한다. 샘플패스 및 작업 효율성 순서를 이용한 확률적 지배 보장을 수립하여, EDD-GR 및 FUT-GR 정책이 일반적인 설정에서 임의의 도착, 작업 크기, 마감 시간, 이질적인 서버를 포함한 데이터 로컬리티 제약 조건 하에서도 지연 최적성을 확보함을 증명한다.

ABSTRACT

In modern computer systems, jobs are divided into short tasks and executed in parallel. Empirical observations in practical systems suggest that the task service times are highly random and the job service time is bottlenecked by the slowest straggling task. One common solution for straggler mitigation is to replicate a task on multiple servers and wait for one replica of the task to finish early. The delay performance of replications depends heavily on the scheduling decisions of when to replicate, which servers to replicate on, and which job to serve first. So far, little is understood on how to optimize these scheduling decisions for minimizing the delay to complete the jobs. In this paper, we present a comprehensive study on delay-optimal scheduling of replications in both centralized and distributed multi-server systems. Low-complexity scheduling policies are designed and are proven to be delay-optimal or near delay-optimal in stochastic ordering among all causal and non-preemptive policies. These theoretical results are established for general system settings and delay metrics that allow for arbitrary arrival processes, arbitrary job sizes, arbitrary due times, and heterogeneous servers with data locality constraints. Novel sample-path tools are developed to prove these results.

연구 동기 및 목표

• 현대 컴퓨터 시스템에서 작업 완료 지연을 최소화하기 위해 복제 스케줄링을 최적화하는 데 있어 이론적 이해의 부족을 해소하기 위해.
• 중앙집중식 및 분산 다중 서버 시스템에서 데이터 로컬리티 제약 조건 하에 증명 가능하게 지연 최적인 저복잡도 스케줄링 정책을 설계하기 위해.
• 임의의 도착 과정, 작업 크기, 마감 시간, 이질적인 서버의 서비스 시간 분포 하에서 지연 성능에 대한 일반적인 확률적 지배 결과를 수립하기 위해.
• 새로운 샘플패스 및 작업 효율성 순서 도구를 활용하여 복제 기반 스트래글러 완화에 대한 이론적 기초를 제공하기 위해.

제안 방법

• 인과성 및 비선점 조건 하에서 다양한 스케줄링 정책 간의 시스템 성능을 비교하기 위해 새로운 샘플패스 도구를 개발하였다.
• 중앙집중식 및 분산 시스템을 위한 최소 마감일 우선 복제 그룹화(EDD-GR) 및 최초 사용 시간 우선 복제 그룹화(FUT-GR) 정책을 도입하였다.
• 특히 확률적 지배 및 약한 주요성 순서를 활용한 확률적 순서 기법을 사용하여, 제안된 정책의 지연 분포를 다른 모든 인과적 비선점 정책과 비교하였다.
• 모든 다른 정책보다 EDD-GR 및 FUT-GR 정책의 작업 완료 지연이 확률적으로 지배됨을 보여줌으로써, 이 정책들이 지연 최적성을 확보함을 증명하였다.
• NBU/NWU 서비스 시간 분포의 성질을 활용하고 서버 그룹 간의 독립성을 이용하여 이론적 경계를 수립하였다.
• 결합 논증 및 순서 통계를 활용하여 제안된 정책이 최대 작업 지연 및 기타 대칭 지연 지표를 최소화함을 보였다.

실험 결과

연구 질문

• RQ1 일반적인 시스템 조건 하에서, 복제된 대기열 시스템에서 작업 완료 지연을 최소화하는 스케줄링 정책은 무엇인가?
• RQ2 지수 분포나 무기억성 서비스 시간을 가정하지 않고도, 확률적 지배를 어떻게 활용하여 복제 기반 스케줄링 정책의 지연 최적성을 증명할 수 있는가?
• RQ3 데이터 로컬리티 제약 조건은 지연 최적 복제 정책의 설계 및 성능에 어느 정도 영향을 미치는가?
• RQ4 EDD-GR 및 FUT-GR와 같은 저복잡도 정책이 임의의 도착 및 작업 크기를 포함한 광범위한 시스템 모델 전반에서 지연 최적성을 달성할 수 있는가?
• RQ5 일반적인 지연 지표 하에서 복제 스케줄링의 최적성 증명에 있어 샘플패스 및 작업 효율성 순서는 어떤 역할을 하는가?

주요 결과

• EDD-GR 정책은 최대 작업 완료 지연을 포함한 모든 대칭적이고 증가하는 지연 지표에서 확률적 순서 기준으로 지연 최적성을 확보한다.
• FUT-GR 정책은 최대 지연, 가중 합 및 지연 순서 통계 기반 지표를 포함한 클래스 $ar{ u}_{ ext{Sch-1}}$ 의 모든 지연 지표에서 지연 최적성을 달성한다.
• 제안된 정책는 임의의 도착 과정, 임의의 작업 크기, 임의의 마감 시간, 하드 데이터 로컬리티 제약 조건이 있는 이질적 서버를 포함한 일반적인 시스템 모델 하에서 증명된 최적성이다.
• 논문은 EDD-GR 및 FUT-GR 정책가 다른 모든 인과적 비선점 정책보다 작업 완료 지연 분포에서 확률적으로 지배됨을 수립하였다.
• 분석 결과 복제로 인해 지연 尾(꼬리)가 크게 감소함을 입증하였으며, 구글의 BigTable에서의 실증 결과로 99.9%-분위수 지연이 1,800 ms 에서 74 ms 로 감소함을 보였다.
• 기존 결과를 지수 분포나 i.i.d. 서비스 시간 분포가 아닌 경우로 확장하기 위해 새로운 샘플패스 결합 및 확률적 지배 기법을 활용하여 이론적 보장을 수립하였다.