[論文レビュー] Indexability of Restless Bandit Problems and Optimality of Index Policies for Dynamic Multichannel Access

Keqin Liu, Qing Zhao|arXiv (Cornell University)|Oct 26, 2008

Advanced Bandit Algorithms Research参考文献 19被引用数 1

ひとこと要約

本稿は、動的マルチチャネルアクセスにおける restless multi-armed bandit 問題について、インデックス可能性を確立し、閉形式の Whittle インデックスを導出することで、低複雑性のインデックス方策を可能にする。確率的同一性と準普遍性の下で最適性を証明し、非同一チャネルにおけるラグランジュ緩和を用いた性能バウンドを提示する。

ABSTRACT

We consider a class of restless multi-armed bandit problems (RMBP) that arises in dynamic multichannel access, user/server scheduling, and optimal activation in multi-agent systems. For this class of RMBP, we establish the indexability and obtain Whittle's index in closed-form for both discounted and average reward criteria. These results lead to a direct implementation of Whittle's index policy with remarkably low complexity. When these Markov chains are stochastically identical, we show that Whittle's index policy is optimal under certain conditions. Furthermore, it has a semi-universal structure that obviates the need to know the Markov transition probabilities. The optimality and the semi-universal structure result from the equivalency between Whittle's index policy and the myopic policy established in this work. For non-identical channels, we develop efficient algorithms for computing a performance upper bound given by Lagrangian relaxation. The tightness of the upper bound and the near-optimal performance of Whittle's index policy are illustrated with simulation examples.

研究の動機と目的

• 動的マルチチャネルアクセスおよびマルチエージェントシステムにおけるユーザースケジューリングを、restless multi-armed bandit 問題（RMBP）を用いて扱う。
• 割引報酬および平均報酬基準の両方に対して、インデックス可能性を確立し、閉形式の Whittle インデックスを導出する。
• チャネルの確率的同一性の下で Whittle インデックス方策の最適性を証明し、その準普遍的構造を示す。
• 非同一チャネル状況における性能上界を計算するための効率的なアルゴリズムを、ラグランジュ緩和を用いて開発する。

提案手法

• 動的マルチチャネルアクセスおよびマルチエージェントスケジューリングに生じる RMBP のクラスを形式化する。
• 割引報酬および平均報酬基準の両方に対して、Whittle インデックスの閉形式表現を導出する。
• 確率的同一性の下で Whittle インデックス方策とミオピック方策の等価性を確立し、準普遍的実装を可能にする。
• 非同一チャネル状況における性能上界をタイトに計算するためにラグランジュ緩和を適用する。
• 閉形式インデックス式のおかげで、計算複雑度を最小限に抑えた Whittle インデックス方策の実装を実現する。
• シミュレーション例を通じて性能を検証し、近最適な挙動とタイトな上界を示す。

実験結果

リサーチクエスチョン

• RQ1 Whittle インデックス方策が、動的マルチチャネルアクセスにおける restless バンディット問題で最適となる条件は何か？
• RQ2 この RMBP クラスにおいて、割引報酬および平均報酬基準の両方で Whittle インデックスを閉形式で計算可能か？
• RQ3 チャネルの確率的同一性の下で、ミオピック方策は Whittle インデックス方策と等価のままであるか？
• RQ4 非同一チャネル状況において、ラグランジュ緩和によって導かれる性能上界はどの程度タイトか？
• RQ5 同一チャネル状況下で、マルコフ遷移確率の知識がなくても Whittle インデックス方策は実装可能か？

主な発見

• 割引報酬および平均報酬基準の両方に対して、Whittle インデックスが閉形式で導出され、直接的かつ低複雑性の実装が可能になる。
• チャネルの確率的同一性の下で、Whittle インデックス方策は最適であり、マルコフ遷移確率の知識が不要な準普遍的構造を示す。
• Whittle インデックス方策とミオピック方策の等価性が、インデックス方策の最適性と準普遍性の根拠となる。
• 非同一チャネル状況では、ラグランジュ緩和がタイトな性能上界を提供し、Whittle インデックス方策の近最適性を裏付ける。
• シミュレーション結果から、Whittle インデックス方策がさまざまなチャネル構成において近最適な性能を達成することが示された。
• 閉形式インデックス式のおかげで、反復的計算を要する従来手法と比較して、計算複雑度が顕著に低減された。