[論文レビュー] Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems

Young Hun Jung, Ambuj Tewari|arXiv (Cornell University)|May 29, 2019

Advanced Bandit Algorithms Research参考文献 16被引用数 11

ひとこと要約

本稿は、二値報酬と未知パラメータを有するエピソード的レストレスバンドイット問題におけるトンプソンサンプリングを分析し、一般のポリシー写像を用いた競合者に対して、ベイジアンレグレットの上限 $ ilde{ackepsilon}(ackepsilonackepsilon T)$ を証明する。この手法により、最適ポリシー、ホイットル指数、ミオピックポリシーなどの柔軟なベンチマークが可能となり、シミュレートされたギルバート・エリオットチャネルにおける実験結果が理論的結果を裏付けている。

ABSTRACT

Restless bandit problems are instances of non-stationary multi-armed bandits. These problems have been studied well from the optimization perspective, where the goal is to efficiently find a near-optimal policy when system parameters are known. However, very few papers adopt a learning perspective, where the parameters are unknown. In this paper, we analyze the performance of Thompson sampling in episodic restless bandits with unknown parameters. We consider a general policy map to define our competitor and prove an $ ilde{\mathcal{O}}(\sqrt{T})$ Bayesian regret bound. Our competitor is flexible enough to represent various benchmarks including the best fixed action policy, the optimal policy, the Whittle index policy, or the myopic policy. We also present empirical results that support our theoretical findings.

研究の動機と目的

• システムのパラメータが未知であるエピソード的レストレスバンドイット問題におけるトンプソンサンプリングの分析を目的とする。
• 最適、ホイットル指数、ミオピックポリシーを含む広範なクラスの競合者ポリシーに適用可能なベイジアンレグレットの上限を確立することを目的とする。
• エピソード的リセットとベイジアン推論を活用して、レストレスバンドイットにおける部分観測の課題に対処することを目的とする。
• ベンチマークポリシーが弱いか部分最適であっても、トンプソンサンプリングが非線形レグレットを達成できることを示すこと。
• 離散的な事前分布の下で、理論的結果を頻度主義的レグレットに拡張し、実験的に性能を検証すること。

提案手法

• 問題は、アーム選択に依存するマルコフ状態遷移を有する部分的観測可能なマルコフ決定過程（POMDP）としてモデル化され、二値報酬が与えられる。
• エピソード的構造を仮定し、$L$ ステップごとにシステムがリセットされ、有限ホライズン問題に簡素化される。
• 一般のポリシー写像を導入して競合者を定義し、ベンチマークを最適、ホイットル指数、ミオピックポリシーなど任意の決定的ポリシーとして可能にする。
• トンプソンサンプリングは、未知のシステムパラメータ（遷移行列と初期状態）の事後分布を維持し、この事後分布から行動をサンプリングすることで実装される。
• レグレットは真のパラメータ下での競合者ポリシーの価値に基づき定義され、集中不等式と事後分布の収縮を用いてベイジアンレグレットの上限が導かれる。
• 実験的検証として、既知のパラメータを持つシミュレートされたギルバート・エリオットチャネルを用い、価値関数の収束と事後分布重みのダイナミクスを追跡する。

実験結果

リサーチクエスチョン

• RQ1 未知パラメータを有するエピソード的レストレスバンドイット問題において、トンプソンサンプリングが非線形レグレットの上限を達成できるか？
• RQ2 競合者ポリシーが最適でない場合（例：ホイットル指数またはミオピックポリシー）でも、レグレットの上限 $ackepsilon(ackepsilonackepsilon T)$ が成立するか？
• RQ3 ベンチマークポリシーが弱いか部分最適である場合、トンプソンサンプリングの実際の性能はいかがなものか？
• RQ4 離散的な事前分布の下で、ベイジアンレグレットの上限を頻度主義的レグレットに拡張できるか？
• RQ5 異なる競合者写像の下で、トンプソンサンプリングにおける真のパラメータの事後分布重みは時間経過とともにどのように変化するか？

主な発見

• 本稿は、任意の決定的ポリシー写像を競合者として用いるエピソード的レストレスバンドイット問題におけるトンプソンサンプリングについて、$ ilde{ackepsilon}(ackepsilonackepsilon T)$ のベイジアンレグレットの上限を確立した。
• 実験的結果から、ベイジアンレグレットが非線形に増加しており、$ackepsilon$-$ackepsilon$ 傾きが $1/2$ 未満であることが確認され、理論的上限を裏付けている。
• K=4、N=2、対称的遷移確率を仮定したシミュレーションにおいて、トンプソンサンプリングの価値関数はホイットル指数ポリシーのベンチマーク価値（1エピソードあたり 55.6）に収束した。
• 真のパラメータの事後分布重みはエピソードに伴い単調に増加し、効果的な学習とパラメータの集中が確認された。
• ベンチマークが最良の固定アームポリシー（一般のレストレスバンドイット設定では部分最適であることが知られている）であっても、レグレットは非線形のままである。
• 事前分布が離散的サポートを持つ場合、理論的結果は最適ポリシーをベンチマークとする頻度主義的レグレットに拡張可能であり、実験的支援が得られた。