[論文レビュー] The KL-UCB Algorithm for Bounded Stochastic Bandits and Beyond

Aurélien Garivier, Olivier Cappé|arXiv (Cornell University)|Feb 12, 2011

Advanced Bandit Algorithms Research参考文献 9被引用数 342

ひとこと要約

本稿では、Kullback-Leibler発散を用いて上位信頼区間を計算する有限時間最適なインデックス方策であるKL-UCBを提案する。これは、ベルヌーイ分布の場合にLai-Robbinsの下界に一致し、指数型分布族を含む多様な報酬分布においても強力な経験的性能を示す。

ABSTRACT

This paper presents a finite-time analysis of the KL-UCB algorithm, an online, horizon-free index policy for stochastic bandit problems. We prove two distinct results: first, for arbitrary bounded rewards, the KL-UCB algorithm satisfies a uniformly better regret bound than UCB or UCB2; second, in the special case of Bernoulli rewards, it reaches the lower bound of Lai and Robbins. Furthermore, we show that simple adaptations of the KL-UCB algorithm are also optimal for specific classes of (possibly unbounded) rewards, including those generated from exponential families of distributions. A large-scale numerical study comparing KL-UCB with its main competitors (UCB, UCB2, UCB-Tuned, UCB-V, DMED) shows that KL-UCB is remarkably efficient and stable, including for short time horizons. KL-UCB is also the only method that always performs better than the basic UCB policy. Our regret bounds rely on deviations results of independent interest which are stated and proved in the Appendix. As a by-product, we also obtain an improved regret bound for the standard UCB algorithm.

研究の動機と目的

• 有界報酬に対するホライズンに依存しないオンラインバンディット方策を設計し、UCBより一貫して優れたレグレットを達成すること。
• ベルヌーイ設定においてKL-UCBがLai-Robbinsの下界に一致することを証明し、一次的最適性を確立すること。
• KL発散に基づく信頼区間を用いて、指数分布を含むパラメトリック族へのKL-UCBの拡張を実施すること。
• 自己正規化された集中不等式を用いた、より良い発散バウンドを伴う有限時間のレグレット解析を提供すること。
• 短いおよび長いホライズンの両方において、KL-UCBの効率性、安定性、およびUCB、MOSS、UCB-Tuned、UCB-V、DMEDを上回る優位性を経験的に検証すること。

提案手法

• KL-UCBアルゴリズムは、実証的分布と真の平均値との間のKullback-Leibler発散を用いて上位信頼区間を計算し、UCBにおける標準的なHoeffdingに基づくバウンドを置き換える。
• 各時刻において、KL-UCBインデックスが最大となる腕を選択することで、推定平均に対して高い不確実性を有する腕の探索を保証する。
• 本手法は、指数モーメント不等式を用いて真の平均値の過小評価確率を制御する自己正規化された発散バウンド（定理A.3）に依存する。
• レグレット解析には大偏差理論とレート関数 $ d^+( heta, heta_0) $ を用い、非最適腕の選択回数をバウンドする。
• ベルヌーイ設定では、アルゴリズムが漸近的下界 $ \frac{\text{gap}}{D(\theta_a, \theta^*)} $ に一致する。ここで $ D $ はKL発散を表す。
• パラメトリック設定における最適性を実現するため、指数型分布族への応用では、対応するKL発散とレート関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 Hoeffdingバウンドの代わりにKL発散を用いるUCB風のアルゴリズムが、有界確率的バンディットにおいて標準的なUCBよりも一貫して優れたレグレットを達成できるか。
• RQ2 KL-UCBはベルヌーイバンディット設定においてLai-Robbinsの下界に一致するか。
• RQ3 KL-UCBは、特に指数型分布族を含む非有界報酬分布へ適応可能であり、最適性を維持できるか。
• RQ4 KL-UCBは、さまざまなホライズンにおいてUCB、UCB-Tuned、MOSS、UCB-V、DMEDと比較して実際の性能でどのように振る舞うか。
• RQ5 KLに基づく信頼区間の有限時間発散バウンドを導出できるか。これにより理論的解析が支援される。

主な発見

• KL-UCBは、ホライズンのチューニングに依存しないあらゆる有界報酬分布に対して、UCBおよびその変種よりも一貫して優れたレグレットバウンドを達成する。
• ベルヌーイ設定では、KL-UCBはLai-Robbinsの下界に一致し、一次的最適性を証明する。
• KL発散をインデックス計算に用いる場合、KL-UCBは指数型分布族の分布に対して最適である。
• 大規模な数値実験により、KL-UCBが非常に効率的かつ安定的であり、短いホライズンでも一貫してUCBおよびその変種を上回ることが確認された。
• 同じ発散不等式を用いることで、標準的なUCBアルゴリズムの改善されたレグレットバウンドが副次的に得られた。
• 自己正規化された発散バウンド（定理A.3）は、独立した価値を持つものであり、解析における信頼区間のより厳密な制御を可能にする。