[論文レビュー] Analysis of Thompson Sampling for the multi-armed bandit problem

Shipra Agrawal, Navin Goyal|arXiv (Cornell University)|Nov 8, 2011

Advanced Bandit Algorithms Research参考文献 13被引用数 738

ひとこと要約

本稿は、確率的マルチアームバンディット問題において、トンプソンサンプリングが対数的期待リグレットを達成することを示す最初の理論的分析を提供する。2腕の場合、リグレットは $ O\left(\frac{\ln T}{\Delta} + \frac{1}{\Delta^3}\right) $ であり、$ N $ 腕の場合には $ O\left(\left(\sum_{i=2}^{N}\frac{1}{\Delta_i^2}\right)^2 \ln T\right) $ である。これは定数因子と $ \Delta $-依存性の面で既知の下界と一致する。

ABSTRACT

The multi-armed bandit problem is a popular model for studying exploration/exploitation trade-off in sequential decision problems. Many algorithms are now available for this well-studied problem. One of the earliest algorithms, given by W. R. Thompson, dates back to 1933. This algorithm, referred to as Thompson Sampling, is a natural Bayesian algorithm. The basic idea is to choose an arm to play according to its probability of being the best arm. Thompson Sampling algorithm has experimentally been shown to be close to optimal. In addition, it is efficient to implement and exhibits several desirable properties such as small regret for delayed feedback. However, theoretical understanding of this algorithm was quite limited. In this paper, for the first time, we show that Thompson Sampling algorithm achieves logarithmic expected regret for the multi-armed bandit problem. More precisely, for the two-armed bandit problem, the expected regret in time $T$ is $O(\frac{\ln T}Δ + \frac{1}{Δ^3})$. And, for the $N$-armed bandit problem, the expected regret in time $T$ is $O([(\sum_{i=2}^N \frac{1}{Δ_i^2})^2] \ln T)$. Our bounds are optimal but for the dependence on $Δ_i$ and the constant factors in big-Oh.

研究の動機と目的

• 確率的マルチアームバンディット設定におけるトンプソンサンプリングのリグレット性能に関する、最初の厳密な理論的分析を提供すること。
• トンプソンサンプリングの実験的成功とその解析的理解の間の理論的ギャップを埋めること。
• トンプソンサンプリングが確率的バンディットの情報理論的下界に近いリグレットバインディングを達成することを確立すること。
• 遅延的・バッチ形式のフィードバック下でのアルゴリズムの挙動を分析し、実験的頑健性に裏付けを置くこと。
• 文脈付きバンディットやその他の一般化への理論的保証を拡張する基盤を築くこと。

提案手法

• ベイジアン確率一致を用いた分析：各ステップで、各腕が最適であるという事後確信に比例して選択確率が与えられる。
• 「飽和済み」（saturated）および「未飽和」（unsaturated）の腕の概念を導入し、未飽和腕は最適である確率が高ければのみ選択される。
• リグレットを飽和腕と未飽和腕の寄与に分解し、二項分布およびベータ分布の尾部確率に注目した集中不等式と尾部バインディングを用いてバインディングを導出する。
• 主な技術的ツールとして、ベルヌーイ分布間のKLダイバージェンスと、ベータ事後分布の累積分布関数の尾部バインディングを用いる。
• 期待される非最適腕の選択回数を制御するため、新規のカップリング論法と条件付き期待値バインディングを用いた証明。
• 元のベルヌーイベースの定式化を一般化し、[0,1]-有界な報酬分布に一般化したトンプソンサンプリングの新規拡張を提案する。

実験結果

リサーチクエスチョン

• RQ1 トンプソンサンプリングは確率的マルチアームバンディット問題において対数的リグレットを達成するか？
• RQ2 最適腕と非最適腕の差 $ \Delta_i $ に依存してリグレットはどのように変化するか？
• RQ3 トンプソンサンプリングの理論的性能は、既知の下界とタイトにバインディング可能か？
• RQ4 なぜトンプソンサンプリングは遅延フィードバック下でも良好に動作するのか、そしてその理論的裏付けは可能か？
• RQ5 この分析は、文脈付きバンディットや非ベルヌーイ報酬といったより複雑な設定へ拡張可能か？

主な発見

• 2腕バンディット問題において、トンプソンサンプリングは期待リグレットが $ O\left(\frac{1}{\Delta^3} + \frac{\ln T}{\Delta}\right) $ であり、これは $ T $ に関して対数的である。
• $ N $ 腕バンディット問題において、期待リグレットは $ O\left(\left(\sum_{i=2}^{N}\frac{1}{\Delta_i^2}\right)^2 \ln T\right) $ であり、定数因子を除いて既知の下界と一致する。
• リグレットバインディングは定数因子および $ \Delta_i $ 依存性の面で最適であり、トンプソンサンプリングの近似的最適性を確認する。
• 分析により、非最適腕の選択回数が事後確信一致と集中不等式によってきびしく制御されていることが示された。
• 未飽和腕に起因するリグレットは $ O\left(\ln T \sum_{u=2}^{N} \frac{1}{\Delta_u}\right) $ でバインディングされ、全体の対数的リグレットに寄与する。
• 本稿は、トンプソンサンプリングの遅延フィードバックに対する実験的頑健性が理論的根拠を持つことを確立したが、他のアルゴリズムのよりタイトなバインディングが必要である。