[論文レビュー] Opportunistic Scheduling for Optimal Spot Instance Savings in the Cloud

Neelkamal Bhuyan, Randeep Bhatia+2 more|arXiv (Cornell University)|Jan 18, 2026

Advanced Queuing Theory Analysis被引用数 0

ひとこと要約

この論文は、遅延制約の下でスポットとオンデマンドのクラウドインスタンス上で遅延感度の高いジョブをスケジューリングするための待ち行列理論ベースのフレームワークを開発し、tight（遅延閾値が低い）と relaxed（遅延閾値が高い）という二つの遅延 regime に対する最適方策を導出し、学習強化型アダプティブ admission policy を提案して平均コストを最適化する。

ABSTRACT

We study the problem of scheduling delay-sensitive jobs over spot and on-demand cloud instances to minimize average cost while meeting an average delay constraint. Jobs arrive as a general stochastic process, and incur different costs based on the instance type. This work provides the first analytical treatment of this problem using tools from queuing theory, stochastic processes, and optimization. We derive cost expressions for general policies, prove queue length one is optimal for low target delays, and characterize the optimal wait-time distribution. For high target delays, we identify a knapsack structure and design a scheduling policy that exploits it. An adaptive algorithm is proposed to fully utilize the allowed delay, and empirical results confirm its near-optimality.

研究の動機と目的

• スポットとオンデマンドのクラウドインスタンス上で遅延制約付きスケジューリングを G/G/1 待ち行列問題として形式化する。
• 二つの遅延 regime（tight: 低い delta、relaxed: 高い delta）における最適方策を特徴づける。
• 閉形式のコスト表現と最適待機時間分布を導出する； relaxed regime における knapsack 構造を識別する。
• スポットインスタンス上でスケジューリングしつつ最適な分数 admission を学習する適応的 admission control policy を提案する。
• スポット可用性の変化に対してほぼ最適な性能を示す実証結果で手法を検証する。

提案手法

• スポットとオンデマンドサービスを含む G/G/1 キューと、到着ジョブごとに join 確率 q_n と最大待ち時間 X_n を選択する決定ポリシーとしてモデル化する。
• 一般的なポリシーに対するコストは E[C] = k - (k-1) * (E[A]/E[S_μ]) * (1 - π_0) で表される。
• tight regime（δ ≤ P(A ≤ S_μ)/λ）においてキュー長が1で最適となり、対応する E[C] = k - (k-1) μ δ を導出。
• 遅延制約の下で P(X > S_μ) を最大化する線形計画を通じて、最大待ち時間分布を特定する（定理3）。
• relaxed delay regime では knapsack 構造が現れ、near-optimal な 3-phase greedy ポリシー（定理4）を開発する。
• Algorithm 1（Adaptive Admission Control Policy）を導入し、スポットインスタンス上のスケジューリングと同時に最適な分数 admission を学習する。
• さまざまなスポット可用性パターンの下で、学習強化型ポリシーが経験的に最適挙動へ収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 スポットとオンデマンドインスタンス上で、平均遅延を δ 以下に保ちながら平均コストを最小化するにはどうするべきか？
• RQ2 tight 遅延 regime においてどのキュー長と待機時間ポリシーが最適か？
• RQ3 tight 遅延制約下の単一スロット（キュー長 ≤ 1）ポリシーの最適待機時間分布は何か？
• RQ4 relaxed 遅延 regime で near-optimal を達成するために knapsack のような構造をどう活用できるか？
• RQ5 適応的 admission policy は異なるスポット可用性パターンに対して実務的に最適ポリシーを学習し近づくことができるか？

主な発見

• 一般的な G/G/1 設定でのジョブあたりのコストは E[C] = k - (k-1) * (E[A]/E[S_μ)] * (1 - π_0) である。
• tight 遅延 regime では最適なキュー長は1で、対応する E[C] = k - (k-1) μ δ となる適切な X 分布が存在する。
• 単一スロットポリシーの最適待機時間分布は、遅延制約の下で P(X > S_μ) を最大化する線形計画を解くことで得られる。
• relaxed 遅延 regime では knapsack 構造が現れ、near-optimal な 3-phase greedy ポリシーが実現可能となる。
• 適応型 admission control policy（Algorithm 1）は最適な分数 admission r* を学習し、実験から収束の証拠と共にほぼ最適なコストを達成する。
• 実験結果は様々なスポット可用性パターンと到着プロセスに対して適応ポリシーの収束が速いことを示す。