[論文レビュー] Asymptotically optimal delay-aware scheduling in wireless networks

Saad Kriouile, Maialen Larrañaga+1 more|arXiv (Cornell University)|Jul 1, 2018

Advanced Bandit Algorithms Research参考文献 14被引用数 4

ひとこと要約

本稿では、キューに依存するチャネル割り当てを伴う無線ネットワークに対して、インデックスに基づくヒューリスティックスケジューリング方針を提案する。Whittleのインデックスアプローチを用いて、 restless bandit問題（RBP）を解き、大ユーザー数の状況において漸近的最適性を証明し、強力な数値的性能を示している。

ABSTRACT

In this paper, we investigate a channel allocation problem in networks taking into account the queues of users. Typically, there are less available channels than users, and at each slot the channels are allocated to users in such a way to minimize the total average queues in the network. We show that the problem falls in the framework of Restless Bandit Problems (RBP), for which obtaining the optimal solution is out of reach. This problem is analyzed in this paper using Whittle index approach. First, using the Lagrangian relaxation method, we provide a relaxed problem and show that it can be decomposed into simpler one-dimensional subproblems for which the optimal solution is a threshold-based policy. This allows us to characterize Whittle's indices for these one-dimensional systems and to develop an index-based heuristic policy for the original scheduling problem. We prove that this heuristic is asymptotically optimal in the infinitely many users regime and provide numerical results that illustrate its remarkably good performance.

研究の動機と目的

• 限られたチャネルと動的なキューのバックログを伴う無線ネットワークにおけるユーザーのスケジューリングの課題に取り組む。
• チャネル割り当て問題を、計算的に解くことが困難な「 restless bandit問題（RBP）」として定式化する。
• ラグランジュ緩和を用いて問題を容易に解ける形に緩和し、1次元の部分問題に分解する。
• 個々のユーザーのキューに対するWhittleインデックスを特徴づけ、インデックスに基づくスケジューリングを可能にする。
• ユーザー数が非常に大きくなる極限において、証明可能な漸近的最適性を持つヒューリスティック方針を設計する。

提案手法

• 元の制約付きRBPを緩和問題に変換するため、ラグランジュ緩和を適用する。
• 緩和問題を、各ユーザーのキューごとの独立した1次元のマルコフ決定過程（MDP）に分解する。
• 各1次元MDPに対して、しきい値に基づく最適方策を導出し、Whittleインデックスの解析的特徴づけを可能にする。
• 計算されたWhittleインデックスに基づいて、ヒューリスティックスケジューリング方策を構築し、インデックスが大きいユーザーを優先する。
• 各時刻スロットにおいて、現在のキュー状態とインデックス値に基づいてチャネルを割り当てる。
• i.i.d. チャネル状態を仮定したもとで、ユーザー数が無限大に近づく極限において、インデックス方策の漸近的最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 限られたリソース下でキューに依存するチャネル割り当てを伴う無線ネットワークに対して、解けるスケジューリング方策を設計できるか？
• RQ2 スケジューリング問題の解けないrestless bandit定式化を、実用的な解法に向け、どのように緩和・分解できるか？
• RQ3 緩和された1次元部分問題の最適方策の構造は何か？ また、その構造を意味のあるインデックスを定義するために利用できるか？
• RQ4 インデックスに基づくヒューリスティック方策は、大ユーザー数の状況において漸近的最適性を達成するか？
• RQ5 実際の状況では、提案されたインデックス方策は他のヒューリスティックと比較してどの程度の性能を示すか？

主な発見

• 緩和問題は、独立した1次元MDPに分解され、それぞれがしきい値に基づく最適方策を有する。
• 1次元系に対してWhittleインデックスが解析的に特徴づけられ、インデックスに基づくスケジューリングが可能になる。
• 提案されたインデックスに基づくヒューリスティック方策は、ユーザー数が無限大に近づく極限において、漸近的最適性であることが証明された。
• 数値結果から、有限ユーザー数の状況でもこのヒューリスティックが非常に優れた性能を示し、ベースライン方策を上回ることがわかった。
• 本手法は、キューに依存する無線ネットワークにおける古典的な難しいスケジューリング問題に対して、スケーラブルかつ実用的な解決策を提供する。