[論文レビュー] The Non-Bayesian Restless Multi-Armed Bandit: a Case of Near-Logarithmic Regret

Wenhan Dai, Yi Gai+2 more|arXiv (Cornell University)|Nov 22, 2010

Advanced Bandit Algorithms Research参考文献 29被引用数 4

ひとこと要約

本稿は、遷移パラメータが事前に未知である非ベイズ的 restless multi-armed bandit (RMAB) 問題に対して、新たなメタポリシー手法を提案する。既知の最適ポリシー群を有限集合として「メタバンディット問題におけるアーム」として扱うことで、$N=2,3$ のi.i.d. チャネルにおいて、$O(G(n)"log n)$ という近似的に対数的成長のレグレットを達成し、モデルを把握したジェイニポリシーと同等の性能を発揮する。

ABSTRACT

In the classic Bayesian restless multi-armed bandit (RMAB) problem, there are $N$ arms, with rewards on all arms evolving at each time as Markov chains with known parameters. A player seeks to activate $K \geq 1$ arms at each time in order to maximize the expected total reward obtained over multiple plays. RMAB is a challenging problem that is known to be PSPACE-hard in general. We consider in this work the even harder non-Bayesian RMAB, in which the parameters of the Markov chain are assumed to be unknown \emph{a priori}. We develop an original approach to this problem that is applicable when the corresponding Bayesian problem has the structure that, depending on the known parameter values, the optimal solution is one of a prescribed finite set of policies. In such settings, we propose to learn the optimal policy for the non-Bayesian RMAB by employing a suitable meta-policy which treats each policy from this finite set as an arm in a different non-Bayesian multi-armed bandit problem for which a single-arm selection policy is optimal. We demonstrate this approach by developing a novel sensing policy for opportunistic spectrum access over unknown dynamic channels. We prove that our policy achieves near-logarithmic regret (the difference in expected reward compared to a model-aware genie), which leads to the same average reward that can be achieved by the optimal policy under a known model. This is the first such result in the literature for a non-Bayesian RMAB.

研究の動機と目的

• 遷移確率が事前に未知である非ベイズ的リーベストMAB問題に対処すること。
• 既知のモデル下での最適ポリシーと同等のサブ線形レグレットを達成する学習フレームワークを開発すること。
• 未知の動的チャネルを想定したオポチュニスティックスペクトラムアクセスへの応用を示すこと。
• 時間経過に伴いレグレットがほぼ対数的に増加することを証明し、平均報酬における漸近的最適性を保証すること。

提案手法

• 既知のパrameter領域において最適となる候補ポリシーの有限集合を、メタバンディット問題におけるアームとして扱う。
• 非ベイズ的マルチアームバンディットアルゴリズムをメタ問題に適用し、どのポリシーが最高の報酬をもたらすかを学習する。
• 各ポリシーを段階 $n$ において $K_n$ 回の時間ステップにわたり実行する、ゆっくり増加する探索スケジュール $K_n$ を使用する。
• メタバンディットにおける探索と活用のバランスを図るために、UCB風の選択ルールを採用する。
• 各ポリシーの標本平均報酬を逐次的に追跡・更新し、将来の選択を導く。
• 本手法は、ベイズ的RMABが有限個の最適ポリシー領域を有することを前提としており、これによりメタポリシー枠組みが可能になる。

実験結果

リサーチクエスチョン

• RQ1 非ベイズ的RMABポリシーは、時間経過に伴いほぼ対数的に増加するレグレットを達成でき、モデルを把握したジェイニの性能と一致するか？
• RQ2 未知のマルコフ遷移パrameterを有するリーベストバンディット設定において、候補ポリシーをメタアームとして扱うことで最適ポリシーを学習可能か？
• RQ3 どのようなリーベストバンディット構造の条件下で、このようなメタポリシー手法がサブ最適なレグレットを達成できるか？
• RQ4 探索期間 $K_n$ が任意にゆっくり増加する場合、レグレットは時間とともにどのようにスケーリングするか？

主な発見

• $N=2,3$ のi.i.d. チャネルで遷移行列が未知の場合、提案手法は期待レグレットが $O(G(n)\log n)$ で有界であることを示す。ここで $G(n)$ は任意にゆっくり発散する列である。
• レグレットの上限は $Z_1G(n)\ln n + Z_2\ln n + Z_3G(n) + Z_4$ であり、定数 $Z_1, Z_2, Z_3, Z_4$ は真の遷移行列 $\mathbf{P}$ のみに依存する。
• 本手法により、既知のモデル下での最大達成可能な平均報酬に収束し、ジェイニの性能と漸近的に一致する。
• 本手法は、非ベイズ的RMAB設定において初めて近似的に対数的レグレットを達成した最初のものであり、リーベスト環境における学習の新たな基準を確立する。
• 証明には、条件付きバイアスを有する確率変数に対する、新しいチェルノフ＝フーディング不等式の変種と、非定常な初期信念に起因する一時的報酬損失のバウンドを用いる。
• myopicポリシーが既知パrameterケースで最適である限り、$N$ が任意であってもこの結果は拡張可能であり、これは $N=2,3$ および正の相関を持つチャネルで成立する。