[论文解读] Deadline Scheduling as Restless Bandits

Zhe Yu, Yunjian Xu+1 more|arXiv (Cornell University)|Oct 3, 2016

Advanced Wireless Network Optimization参考文献 43被引用 3

一句话总结

本文将随机截止时间调度问题建模为一个天 restless 多臂赌博机（RMAB）问题，并证明了其可索引性。在处理成本恒定的条件下，推导出 Whittle 索引的闭式表达式，并证明当作业到达率和处理器数量趋于无穷大时，Whittle 索引策略的最优性差距渐近趋于零，从而在重载条件下展示了其渐近最优性。

ABSTRACT

The problem of stochastic deadline scheduling is considered. A constrained Markov decision process model is introduced in which jobs arrive randomly at a service center with stochastic job sizes, rewards, and completion deadlines. The service provider faces random processing costs, convex non-completion penalties, and a capacity constraint that limits the simultaneous processing of jobs. Formulated as a restless multi-armed bandit problem, the stochastic deadline scheduling problem is shown to be indexable. A closed-form expression of the Whittle's index is obtained for the case when the processing costs are constant. An upper bound on the gap-to-optimality for the Whittle's index policy is obtained, and it is shown that the bound converges to zero as the job arrival rate and the number of available processors increase simultaneously to infinity.

研究动机与目标

• 将具有随机作业到达、大小、截止时间和处理成本的随机截止时间调度问题建模为带约束的马尔可夫决策过程。
• 将该问题重新表述为一个天 restless 多臂赌博机（RMAB），以支持基于索引的调度策略。
• 建立 RMAB 建模的可索引性，并在处理成本恒定的条件下推导出闭式 Whittle 索引。
• 界定 Whittle 索引策略的性能差距，并分析其在系统负载增加时的渐近最优性。
• 证明当到达率和处理器数量均趋于无穷大时，最优性差距在轻载条件下收敛于零。

提出的方法

• 将截止时间调度问题建模为带折扣奖励最大化的约束 MDP，同时满足并行处理能力约束。
• 将 MDP 重新表述为具有同时动作的天 restless 多臂赌博机（RMAB）问题，以支持基于索引的控制。
• 通过证明价值函数在作业数量上的单调性和凹性，证明 RMAB 建模的可索引性。
• 在处理成本恒定的条件下，推导出 Whittle 索引的闭式表达式，推广了先前的结果。
• 利用到达过程的条件风险价值（CVaR）界定最优性差距，从而支持性能分析。
• 使用数学归纳法和动态规划递推关系，证明 Whittle 索引和价值函数的单调性与凹性。

实验结果

研究问题

• RQ1 当将随机截止时间调度问题建模为天 restless 多臂赌博机时，其是否具有可索引性？
• RQ2 在处理成本恒定的情况下，能否推导出 Whittle 索引的闭式表达式？
• RQ3 Whittle 索引策略与最优策略之间的性能差距是多少，其随系统负载如何变化？
• RQ4 随着处理器数量和作业到达率的增加，Whittle 索引策略是否趋于渐近最优？
• RQ5 到达过程的条件风险价值（CVaR）与索引策略的性能损失之间有何关系？

主要发现

• 截止时间调度问题的 RMAB 建模具有可索引性，从而支持 Whittle 索引策略的应用。
• 当处理成本恒定时，推导出 Whittle 索引的闭式表达式，简化了在线计算。
• Whittle 索引策略的最优性差距由单位时间内作业到达数量的 CVaR 所界定。
• 当作业到达率和处理器数量均趋于无穷大时，性能差距在轻载条件下收敛于零。
• 在重载条件下，Whittle 索引策略具有渐近最优性，尤其在系统负载按比例增长时表现更优。
• 该证明依赖于数学归纳法，以建立 Whittle 索引在作业数量上的单调性以及价值函数的凹性。