[論文レビュー] Deadline Scheduling as Restless Bandits

Zhe Yu, Yunjian Xu+1 more|arXiv (Cornell University)|Oct 3, 2016

Advanced Wireless Network Optimization参考文献 43被引用数 3

ひとこと要約

本稿は、確率的デッドラインスケジューリングを、 restless multi-armed bandit (RMAB) 問題として定式化し、そのインデックス可能性を確立する。定数処理コストのもとで閉形式のホイットル指数を導出し、ジョブ到着レートとプロセッサ数が非常に大きくなるにつれて、ホイットル指数方策の最適性からの差が漸近的に消えることを証明し、高負荷下での漸近的最適性を示す。

ABSTRACT

The problem of stochastic deadline scheduling is considered. A constrained Markov decision process model is introduced in which jobs arrive randomly at a service center with stochastic job sizes, rewards, and completion deadlines. The service provider faces random processing costs, convex non-completion penalties, and a capacity constraint that limits the simultaneous processing of jobs. Formulated as a restless multi-armed bandit problem, the stochastic deadline scheduling problem is shown to be indexable. A closed-form expression of the Whittle's index is obtained for the case when the processing costs are constant. An upper bound on the gap-to-optimality for the Whittle's index policy is obtained, and it is shown that the bound converges to zero as the job arrival rate and the number of available processors increase simultaneously to infinity.

研究の動機と目的

• 確率的デッドラインスケジューリングを、ランダムなジョブ到着、サイズ、デッドライン、処理コストを伴う制約付きマルコフ決定過程（MDP）としてモデル化すること。
• インデックスに基づくスケジューリング方策を可能にするために、問題を restless multi-armed bandit (RMAB) として再定式化すること。
• RMAB定式化のインデックス可能性を確立し、定数処理コストのもとで閉形式のホイットル指数を導出すること。
• ホイットル指数方策の性能ギャップを評価し、システム負荷の増加に伴うその漸近的最適性を分析すること。
• ジョブ到着レートとプロセッサ数が同時に増加する場合、最適性からのギャップが軽負荷領域でゼロに収束することを示すこと。

提案手法

• 同時処理能力制約の下で割引報酬を最大化する制約付き MDP としてデッドラインスケジューリング問題を定式化する。
• 同時プレーを許容する restless multi-armed bandit (RMAB) 問題に MDP を再定式化し、インデックスに基づく制御を可能にする。
• ジョブ数における価値関数の単調性と凹性を確立することで、RMAB定式化のインデックス可能性を証明する。
• 定数処理コストのもとでホイットル指数の閉形式表現を導出し、先行研究を一般化する。
• 到着プロセスの条件付きリスク価値（CVaR）を用いて性能ギャップを評価し、性能分析を可能にする。
• 数学的帰納法と動的計画法の再帰を用いて、ホイットル指数および価値関数の単調性と凹性を証明する。

実験結果

リサーチクエスチョン

• RQ1 確率的デッドラインスケジューリング問題は、restless multi-armed bandit として定式化した場合、インデックス可能か？
• RQ2 定数処理コストの下で、閉形式のホイットル指数を導出できるか？
• RQ3 ホイットル指数方策と最適方策との間の性能ギャップは何か？ そして、システム負荷に伴ってどのようにスケーリングされるか？
• RQ4 プロセッサ数とジョブ到着レートが増加するにつれて、ホイットル指数方策は漸近的に最適になるか？
• RQ5 到着プロセスの条件付きリスク価値（CVaR）は、インデックス方策の性能損失とどのように関係するか？

主な発見

• デッドラインスケジューリング問題の RMAB 定式化はインデックス可能であり、ホイットル指数方策の適用が可能である。
• 処理コストが定数のとき、ホイットル指数の閉形式表現が導出され、オンライン計算が簡素化される。
• ホイットル指数方策の最適性からのギャップは、単位時間あたりのジョブ到着数の CVaR で上限が与えられる。
• ジョブ到着レートとプロセッサ数が無限大に近づくにつれて、軽負荷領域で性能ギャップがゼロに収束する。
• ホイットル指数方策は、特にシステム負荷が比例的に増加する高負荷条件下で漸近的に最適である。
• 証明は、ホイットル指数の単調性と価値関数のジョブ数における凹性を確立するための帰納法に依存している。