[論文レビュー] Queue Stability and Probability 1 Convergence via Lyapunov Optimization

Michael J. Neely|arXiv (Cornell University)|Aug 20, 2010

Advanced Wireless Network Optimization参考文献 27被引用数 35

ひとこと要約

本稿では、システムダイナミクスの4次モーメントが弱く制限されている条件下で、Lyapunovドリフトプラスペナルティアルゴリズムが、時間平均性能バインディング（例：キュー安定性やペナルティ最小化）に対して確率1でほぼ確実に収束することを確立している。古典的なLyapunov最適化を拡張し、マルティングル・ディファレンスのコルモゴロフの大数法則を用いて、サンプルパス収束を証明している。

ABSTRACT

Lyapunov drift and Lyapunov optimization are powerful techniques for optimizing time averages in stochastic queueing networks subject to stability. However, there are various definitions of queue stability in the literature, and the most convenient Lyapunov drift conditions often provide stability and performance bounds only in terms of a time average expectation, rather than a pure time average. We extend the theory to show that for quadratic Lyapunov functions, the basic drift condition, together with a mild bounded fourth moment condition, implies all major forms of stability. Further, we show that the basic drift-plus-penalty condition implies that the same bounds for queue backlog and penalty expenditure that are known to hold for time average expectations also hold for pure time averages with probability 1. Our analysis combines Lyapunov drift theory with the Kolmogorov law of large numbers for martingale differences with finite variance.

研究の動機と目的

• 確率的キューイングネットワークにおけるLyapunov最適化において、時間平均期待値と純粋な時間平均の間のギャップを埋める。
• 時間平均期待値に対して導出された性能バインディングが、有界な4次モーメント条件のもとで確率1で成り立つことを確立する。
• ドリフトプラスペナルティフレームワークを拡張し、キュー安定性およびペナルティ最小化のサンプルパス収束を保証する。
• マルティングル・ディファレンスの大数法則を用いて、ドリフトプラスペナルティ定理のきついサンプルパス版を提供する。
• 標準的なO(1/V)ペナルティギャップおよびO(V)バックログバインディングが、期待値ではなく確率1で成り立つことを検証する。

提案手法

• 時間スロットごとのシステム状態を定義し、時間的変化を測るための2次Lyapunov関数を用いる。
• ドリフトプラスペナルティ条件を適用して、ペナルティおよびキュー・バックログの期待時間平均に対するバインディングを導出する。
• キュー・バックログおよびペナルティの1スロット変化に有界な4次モーメント条件を課すことにより、サンプルパス収束を保証する。
• 有限分散を持つマルティングル・ディファレンスのコルモゴロフの大数法則を用いて、ほぼ確実な収束を証明する。
• 増加する時間スロットの列$ t_n $を用いてキュー・バックログの成長を制御し、$ Q(t)/t \to 0 $が確率1で成り立つことを示す。
• テイラー展開およびテイル和のバインディングを用いて、キュー・サイズの1ステップ変化が大きくならない確率が時間とともに消えることを示す。

実験結果

リサーチクエスチョン

• RQ1 期待値に対して導出された時間平均性能バインディングが、Lyapunov最適化において確率1で成り立つ条件は何か？
• RQ2 標準的なドリフトプラスペナルティアルゴリズムは、キュー・バックログおよびペナルティコストのほぼ確実な収束を保証できるか？
• RQ3 時間平均のサンプルパス収束を保証するために必要な・十分なモーメント条件は何か？
• RQ4 システム増分における有界な4次モーメント条件が、Lyapunovベースのアルゴリズムの収束行動に与える影響は何か？
• RQ5 非マルコフ的かつ可算でない状態空間を持つ確率的ネットワークにおいて、コルモゴロフの大数法則を用いて時間平均のほぼ確実な収束を証明できるか？

主な発見

• 基本的なドリフトプラスペナルティ条件に加え、キュー・バックログおよびペナルティの1ステップ変化に有界な4次モーメント条件を課すことで、時間平均性能バインディングが確率1で成り立つ。
• O(1/V)ペナルティギャップおよびO(V)バックログバインディングが、期待値ではなく確率1で達成される。
• 各キュー$ Q_k(t) $に対して、時間平均$ \frac{1}{t} \sum_{\tau=0}^{t-1} |Q_k(\tau)| $は、確率1でO(V)で有界な値に収束する。
• 時間平均ペナルティ$ \frac{1}{t} \sum_{\tau=0}^{t-1} y_0(\tau) $は、確率1で最適値からO(1/V)以内に収束する。
• 条件$ \mathbb{E}\left\{ (Q_k(t+1) - Q_k(t))^2 \right\} \leq D $は、$ \mathbb{E}\left\{ (|Q_k(t+1)| - |Q_k(t)|)^2 \right\} \leq D $を意味し、大数法則の適用を可能にする。
• 確率1で、キュー・バックログの1ステップ変化は最終的に$ t^{3/4} $より小さくなるため、$ Q(t)/t \to 0 $が確率1で成り立つ。