[논문 리뷰] Deadline Scheduling as Restless Bandits

Zhe Yu, Yunjian Xu외 1명|arXiv (Cornell University)|2016. 10. 03.

Advanced Wireless Network Optimization참고 문헌 43인용 수 3

한 줄 요약

이 논문은 확률적 마감 시간 스케줄링 문제를 여정 없는 다손잡이 띠(Whittle's index) 문제로 재구성하고, 그 인덱스 가능성(indexability)을 입증한다. 일정 처리 비용 조건 하에서 닫힌 형태의 위틀 인덱스를 유도하며, 작업 도착률과 프로세서 수가 증가함에 따라 위틀 인덱스 정책의 최적성과의 격차가 渐진적으로 사라짐을 증명하여, 고하중 환경에서의 점근적 최적성을 입증한다.

ABSTRACT

The problem of stochastic deadline scheduling is considered. A constrained Markov decision process model is introduced in which jobs arrive randomly at a service center with stochastic job sizes, rewards, and completion deadlines. The service provider faces random processing costs, convex non-completion penalties, and a capacity constraint that limits the simultaneous processing of jobs. Formulated as a restless multi-armed bandit problem, the stochastic deadline scheduling problem is shown to be indexable. A closed-form expression of the Whittle's index is obtained for the case when the processing costs are constant. An upper bound on the gap-to-optimality for the Whittle's index policy is obtained, and it is shown that the bound converges to zero as the job arrival rate and the number of available processors increase simultaneously to infinity.

연구 동기 및 목표

• 랜덤한 작업 도착, 크기, 마감 시간 및 처리 비용을 고려한 제약 조건이 있는 마코프 결정 과정(MDP)으로 확률적 마감 시간 스케줄링 문제를 모델링한다.
• 색인 기반 스케줄링 정책을 가능하게 하기 위해 문제를 여정 없는 다손잡이 띠(RMAB) 문제로 재구성한다.
• RMAB 수식의 인덱스 가능성과 일정 처리 비용 조건 하에서 닫힌 형태의 위틀 인덱스를 도출한다.
• 위틀 인덱스 정책의 성능 격차를 유계하고, 시스템 하중 증가에 따른 점근적 최적성 분석을 수행한다.
• 작업 도착률과 프로세서 수가 동시에 증가할 때 경량 하중 환경에서 최적성과의 격차가 0으로 수렴함을 보여준다.

제안 방법

• 동시 처리 용량 제약 조건 하에서 할인 보상 최대화를 목표로 하는 제약 조건이 있는 MDP로 마감 시간 스케줄링 문제를 수립한다.
• 동시 실행이 가능한 여정 없는 다손잡이 띠(RMAB) 문제로 MDP를 재구성하여 색인 기반 제어를 가능하게 한다.
• 작업 수에 대한 가치 함수의 단조성과 볼록성 증명을 통해 RMAB 수식의 인덱스 가능성 증명한다.
• 일정 처리 비용 조건 하에서 위틀 인덱스의 닫힌 형태 표현식을 도출하며, 이는 이전 결과를 일반화한다.
• 도착 과정의 조건부가치위험(CVaR)을 사용하여 최적성과의 격차를 유계함으로써 성능 분석을 가능하게 한다.
• 귀납법과 동적 프로그래밍 재귀식을 사용하여 위틀 인덱스와 가치 함수의 단조성 및 볼록성을 증명한다.

실험 결과

연구 질문

• RQ1 확률적 마감 시간 스케줄링 문제를 여정 없는 다손잡이 띠(RMAB)로 모델링했을 때, 그 인덱스 가능성은 존재하는가?
• RQ2 일정 처리 비용 조건 하에서 닫힌 형태의 위틀 인덱스를 도출할 수 있는가?
• RQ3 위틀 인덱스 정책과 최적 정책 간의 성능 격차는 얼마이며, 이는 시스템 하중에 따라 어떻게 변화하는가?
• RQ4 프로세서 수와 작업 도착률이 증가함에 따라 위틀 인덱스 정책은 점근적으로 최적성이 되는가?
• RQ5 도착 과정의 조건부가치위험(CVaR)은 색인 정책의 성능 손실과 어떻게 관련이 있는가?

주요 결과

• 마감 시간 스케줄링 문제의 RMAB 수식은 인덱스 가능성이 있으며, 이는 위틀 인덱스 정책의 적용을 가능하게 한다.
• 처리 비용이 일정할 경우 위틀 인덱스의 닫힌 형태 표현식이 도출되었으며, 이는 온라인 계산을 단순화한다.
• 위틀 인덱스 정책의 최적성과의 격차는 단위 시간당 작업 도착 수의 조건부가치위험(CVaR)으로 유계진다.
• 경량 하중 환경에서 작업 도착률과 프로세서 수가 무한히 증가함에 따라 성능 격차가 0으로 수렴한다.
• 특히 시스템 하중이 비례적으로 증가할 때, 위틀 인덱스 정책은 중하중 조건 하에서 점근적으로 최적성이 된다.
• 증명 과정은 위틀 인덱스의 단조성과 가치 함수의 볼록성을 입증하기 위해 귀납법을 활용한다.