[論文レビュー] Regret lower bounds and extended Upper Confidence Bounds policies in stochastic multi-armed bandit problem

Antoine Salomon, Jean-Yves Audibert+1 more|arXiv (Cornell University)|Dec 16, 2011

Advanced Bandit Algorithms Research参考文献 22被引用数 4

ひとこと要約

この論文は、確率的マルチアームバンディットにおける対数的レジーット下界の一般化を、一貫性仮定を緩和することで実現し、ハンナン一貫性下では対数的レジーット下界が成立しないことを示している。柔軟な信頼区間を備えた拡張型Upper Confidence Bound（UCB）方策を導入し、環境の性質に基づいて最良のアルゴリズムを普遍的に選択できる適応的方策が存在しないことを証明しており、特定の状況ではレジーットが log log n の割合で増加することが示されている。

ABSTRACT

This paper is devoted to regret lower bounds in the classical model of stochastic multi-armed bandit. A well-known result of Lai and Robbins, which has then been extended by Burnetas and Katehakis, has established the presence of a logarithmic bound for all consistent policies. We relax the notion of consistence, and exhibit a generalisation of the logarithmic bound. We also show the non existence of logarithmic bound in the general case of Hannan consistency. To get these results, we study variants of popular Upper Confidence Bounds (ucb) policies. As a by-product, we prove that it is impossible to design an adaptive policy that would select the best of two algorithms by taking advantage of the properties of the environment.

研究の動機と目的

• 確率的マルチアームバンディットにおける古典的な一貫性仮定を超えて、対数的レジーット下界を一般化すること。
• 対数的レジーット下界が、ハンナン一貫性のような弱い一貫性概念のもとでも保持されるかどうかを調査すること。
• 非標準的な信頼区間を備えた拡張型UCB方策の性能を分析すること。
• 環境の性質に基づいて最良のアルゴリズムを選択する適応的方策を設計することが、なぜ不可能であるかを示すこと。
• ハンナン一貫性下で log n よりも遅いレジーット成長率が存在することを確立すること、特に特定の環境では log log n となること。

提案手法

• 著者らは一貫性条件をハンナン一貫性に緩和し、多項式でないレジーット成長を許容する。
• 関数 $ f_k(t) $ が増加関数である形式 $ B_{k,s,t} = \hat{X}_{k,s} + \sqrt{f_k(t)/s} $ を持つ拡張型UCB方策を定義する。
• 集中不等式と尾確率の境界を用いて、非最適な腕の期待的な選択回数の上界を導出する。
• 関数 $ f_k(n) = o(n) $ かつ $ f_k(n) \geq \gamma \log \log n $（$ \gamma > 1/2 $）が成り立つ場合、方策はハンナン一貫性を満たすことを証明する。
• 同じ腕が一方の環境では最適で、他方では非最適であるが、尤度比が有界であるような2つの環境の反例を構築する。
• このような条件下で、期待レジーットが $ \log \log n $、すなわち $ \log n $ ではなく増加することを示し、一般化された対数的下界の否定を示す。

実験結果

リサーチクエスチョン

• RQ1 対数的レジーット下界は、一貫性仮定を超えてハンナン一貫性のような弱い概念に対しても拡張可能か？
• RQ2 環境の性質に基づいて2つのUCBアルゴリズムのうち最良のものを選択できる適応的方策を設計することは可能か？
• RQ3 ハンナン一貫性下での確率的バンディットにおける期待レジーットの最小成長率は何か？
• RQ4 2つの環境間で尤度比が有界であることは、対数的レジーット下界の成立を妨げるか？
• RQ5 対数未満の $ f_k(t) $ 関数を備えた拡張型UCB方策は、依然としてハンナン一貫性を達成できるか？

主な発見

• 反例により、ハンナン一貫性方策において一般に対数的レジーット下界が成立しないことが示された。具体的には、レジーットが $ \log \log n $ の割合で増加する。
• ディラック分布 $ \delta_a $ と $ \delta_b $ を持つ環境では、$ f_k(n) = \log \log n $ の拡張型UCBの期待レジーットは $ O(\log \log n) $ であり、$ O(\log n) $ ではない。
• 著者らは、環境の性質に基づいて2つのUCBバリアントのうち最良のものを普遍的に選択できる適応的方策が存在しないことを証明した。これは、情報要件が矛盾するためである。
• 関数 $ f_k(n) \geq \gamma \log \log n $（$ \gamma > 1/2 $）が成り立つ場合、拡張型UCB方策はハンナン一貫性を満たす。
• 非最適腕の期待選択回数は $ \frac{f_k(n)}{\Delta^2} + 1 $ で上界が与えられ、特定の設定では対数未満のレジーットが得られる。
• 1つの腕を除いて分布が同一の2つの環境が存在し、その腕が一方では最適で他方では非最適である場合、対数的レジーット下界が崩壊することが示された。