[論文レビュー] Thompson Sampling in Non-Episodic Restless Bandits

Young Hun Jung, Marc Abeille+1 more|arXiv (Cornell University)|Oct 12, 2019

Advanced Bandit Algorithms Research参考文献 22被引用数 4

ひとこと要約

本稿では、時間に応じて変化する報酬分布を示す非エピソード型の restless multi-armed bandits に対して、動的エピソードを備えた Thompson Sampling の変種（TSDE）を提案する。報酬分布が時間とともに変化する環境において、ポリシー写像を用いて TSDE を restless bandit フレームワークに適応することで、著者らは $\mathcal{O}(\sqrt{T}\log T)$ のベイジアンレグレットバウンドを確立し、無限ホライズン設定における非線形レグレットの未解決問題を解消した。

ABSTRACT

Restless bandit problems assume time-varying reward distributions of the arms, which adds flexibility to the model but makes the analysis more challenging. We study learning algorithms over the unknown reward distributions and prove a sub-linear, $O(\sqrt{T}\log T)$, regret bound for a variant of Thompson sampling. Our analysis applies in the infinite time horizon setting, resolving the open question raised by Jung and Tewari (2019) whose analysis is limited to the episodic case. We adopt their policy mapping framework, which allows our algorithm to be efficient and simultaneously keeps the regret meaningful. Our algorithm adapts the TSDE algorithm of Ouyang et al. (2017) in a non-trivial manner to account for the special structure of restless bandits. We test our algorithm on a simulated dynamic channel access problem with several policy mappings, and the empirical regrets agree with the theoretical bound regardless of the choice of the policy mapping.

研究の動機と目的

• システムが定期的にリセットされない非エピソード型 restless bandits における非線形レグレットを達成するという未解決問題に取り組む。
• 決定的ポリシー写像 $\mu$ を用いて、意味のあるポリシーと競合する効率的な学習アルゴリズムを開発する。
• 時間変動する報酬分布を扱えるように、TSDE アルゴリズムを完全に観測可能なマルコフ決定過程に拡張する。
• MDP のベルマン方程式および混合時間に関する一般条件のもとで、理論的レグレットバウンドが成立することを保証する。
• 異なるポリシー写像（Whittle インデックス、ミオピックポリシーなど）において、実験的にも頑健な性能を示すことを確認する。

提案手法

• 時間変動するアーム報酬を持つ非エピソード型 restless bandit 環境に、動的エピソードを備えた Thompson Sampling（TSDE）アルゴリズムを適応する。
• 未知のシステムパラメータ $\theta^\star$ を、決定的かつ定常的なポリシー $\pi^\star = \mu(\theta^\star)$ に写像するポリシー写像 $\mu$ を使用し、意味のあるベースラインとの比較を可能にする。
• 各エピソードに、1 つの決定的および 1 つの確率的終了条件を導入し、定期的なリセットなしにエピソード切り替えを保証する。
• 各エピソードの開始時に、事後分布からシステムパラメータ $\theta$ をサンプリングし、そのエピソードの間は $\pi = \mu(\theta)$ のポリシーを実行する。
• Jung と Tewari（2019）のポリシー写像フレームワークを活用することで、計算効率を維持しつつ、意味のあるレグレット比較を実現する。
• ポリシー不一致とパラメータ推定の成分にレグレットを分解し、集中不等式および混合時間解析を用いて理論的レグレットバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 システムが定期的にリセットされない非エピソード型 restless bandit 環境において、Thompson Sampling が非線形レグレットを達成できるか？
• RQ2 時間変動環境において、ポリシー写像 $\mu(\theta^\star)$ と比較する際、TSDE アルゴリズムが意味のあるレグレットバウンドを維持できるか？
• RQ3 ポリシー写像の選択（例：Whittle インデックス、ミオピック、固定アーム）が、アルゴリズムの実験的性能に与える影響は何か？
• RQ4 理論的ベイジアンレグレットバウンド $\mathcal{O}(\sqrt{T}\log T)$ が、異なるポリシー写像およびシステムパラメータにおいて実証的に検証可能か？
• RQ5 後方確率分布の重みが、Whittle インデックスポリシー下で真のパラメータ $\theta^\star$ を的確に学習しているか、すなわち後方分布の集中が確認できるか？

主な発見

• 提案された TSDE アルゴリズムのベイジアンレグレットは $\mathcal{O}(\sqrt{T}\log T)$ で有界であり、非エピソード型 restless bandits における非線形レグレットの未解決問題を解消した。
• 実験的結果から、全テストされたポリシー写像（最良の固定アーム、ミオピック、Whittle インデックス）において、非線形レグレットが達成されており、理論的バウンドを確認した。
• レグレットと時間の対数プロットにおいて、傾きが約 0.5 であることが確認され、理論で予測された $\tilde{\mathcal{O}}(\sqrt{T})$ スケーリングを裏付けた。
• 頻度主義的設定において、TSDE の時間平均累積報酬が、$J_{\pi^\star}(\theta^\star)$ のベンチマーク値に収束しており、効果的な学習が行われていることを示した。
• Whittle インデックスポリシー下で、真のパラメータのための後方確率重みが、全アームで単調に 1 に近づくことが観察され、$\theta^\star$ の一貫した学習が確認された。
• 異なるポリシー写像の選択に関わらず、アルゴリズムは効率的かつ頑健であり、性能の劣化が観察されなかった。