[論文レビュー] Online Algorithms for the Multi-Armed Bandit Problem with Markovian Rewards

Cem Tekin, Mingyan Liu|arXiv (Cornell University)|Jul 14, 2010

Advanced Bandit Algorithms Research参考文献 8被引用数 10

ひとこと要約

本稿は、報酬がマーケフ連鎖に従い、プレーされない限り状態が変化しないマルチアームバンディット問題に対して、標本平均に基づくインデックス方策を提案する。十分に大きな探索定数を用いることで、時間的に一様に対数的リグレットを達成できることを証明しており、遷移確率の事前知識がなくても、このようなインデックス方策がオーダー最適であることを示している。

ABSTRACT

We consider the classical multi-armed bandit problem with Markovian rewards. When played an arm changes its state in a Markovian fashion while it remains frozen when not played. The player receives a state-dependent reward each time it plays an arm. The number of states and the state transition probabilities of an arm are unknown to the player. The player's objective is to maximize its long-term total reward by learning the best arm over time. We show that under certain conditions on the state transition probabilities of the arms, a sample mean based index policy achieves logarithmic regret uniformly over the total number of trials. The result shows that sample mean based index policies can be applied to learning problems under the rested Markovian bandit model without loss of optimality in the order. Moreover, comparision between Anantharam's index policy and UCB shows that by choosing a small exploration parameter UCB can have a smaller regret than Anantharam's index policy.

研究の動機と目的

• 報酬分布が未知で、隠れた状態遷移に依存するマルチアームバンディットにおける最適なアーム選択の学習という課題に取り組む。
• プレーされないアームが現在の状態を維持する「リステッド」マーケフ連鎖的バンディット設定において、標本平均に基づくインデックス方策の性能を分析する。
• このような方策が、漸近的ではなく、時間的に一様に対数的リグレットを達成するための条件を確立する。
• パrametricな遷移行列を用いて、UCBとアナンタラムのインデックス方策の実用的性能を比較するが、後者はパrametersが既知の下で理論的に最適である。
• 特に2状態マーケフ連鎖において、探索定数に対する十分条件を実際の状況で緩和可能かどうかを調査する。

提案手法

• 著者らは、実現平均報酬に基づき、プレー回数の逆数に比例する探索項を追加した標本平均に基づくインデックス方策を分析する。
• アームの遷移行列の固有値ギャップに依存するリグレットバウンドを導出し、十分に大きな探索定数が対数的リグレットを保証することを示す。
• この分析は、集中不等式とギルマンの補題を用いて、混合時間および定常分布からの逸脱を制御することに依存する。
• この手法は、遷移確率が未知で、状態依存報酬を持つ、有限状態、非周期的、再帰的マーケフ連鎖に適用可能である。
• 異なる探索レベルでの性能を評価するために、変化する遷移パラメータを有する2状態マーケフ連鎖を用いた数値シミュレーションを実施する。
• アナンタラムのインデックス方策との比較には、$ p_{01}\left(\theta\right) = \left(\theta/10\right)^3 $、$ p_{10}\left(\theta\right) = 1 - \left(\theta/10\right)^2 $、$ \theta \in [0,10] $ というパラメトリックな遷移行列の族を用いる。

実験結果

リサーチクエスチョン

• RQ1 標本平均に基づくインデックス方策は、遷移ダイナミクスが未知のリステッド・マーケフ連鎖的バンディット問題において、時間的に一様に対数的リグレットを達成できるか？
• RQ2 このような方策が対数的リグレットを保証するための最小の探索定数は何か？ また、これは遷移行列の固有値ギャップとどのように関係するか？
• RQ3 アナンタラムのインデックス方策がパrametersが既知の下で理論的に最適であるにもかかわらず、UCBは実際の性能でそれを上回るか？
• RQ4 UCBの理論的リグレットバウンドは、シミュレーションで観測された実際の性能と比べてどの程度タイトか？
• RQ5 特に2状態マーケフ連鎖において、探索定数に対する十分条件を実務的に緩和可能か？

主な発見

• 探索定数 $ L $ が $ L > 90S_{\text{max}}^2 r_{\text{max}}^2 / \epsilon_{\text{min}} $ を満たすとき、標本平均に基づくインデックス方策は一様に対数的リグレットを達成する。ここで $ \epsilon_{\text{min}} $ は最小固有値ギャップである。
• 2状態マーケフ連鎖では、$ L = 2 $ であってもUCB方策が対数的リグレットを達成する。これは理論的十分条件を満たさないが、理論的バウンドがタイトでない可能性を示唆している。
• シミュレーションで $ L = 0.05 $ を用いた場合、与えられた時間スケール内において、UCB方策のリグレットはアナンタラムのインデックス方策よりも低く、後者は理論的下限であるにもかかわらず。
• UCBのリグレットバウンドは $ L = 2000 $ のとき $ 45150\ln n + 62.8 $ であるが、任意のユニフォームに良い方策の理論的下限は $ 4.406\ln n $ であるため、理論と実際の性能の間には大きなギャップがある。
• 数値結果から、UCBのリグレットは漸近的に理論的下限に非常に近づくことが示され、実用的にはほぼ最適であることが示唆される。
• 探索定数 $ L $ が増加するに従い、UCBとアナンタラム方策の性能差は縮まり、$ L \to \infty $ の極限でUCBは理論的下限に近づく。