[論文レビュー] Bounded regret in stochastic multi-armed bandits

Sébastien Bubeck, Vianney Perchet+1 more|arXiv (Cornell University)|Feb 6, 2013

Advanced Bandit Algorithms ResearchDecision Sciences参考文献 11被引用数 21

ひとこと要約

この論文は、最適平均報酬 $\mu^{(\star)}$ と最小正のギャップの下界 $\Delta$ が既知である場合に、一様に有界なレグレットを達成する確率的方策を導入する。方策は逐次尤度比検定に基づき、2腕の場合のレグレットが $\Delta + 16/\Delta$ で抑えられ、$K$ 腕への一般化では $\varepsilon$ が $\Delta$ の下界であるとき、$\sum_{i:\Delta_i>0} \left\{ \Delta_i + \frac{32}{\Delta_i} \log\left(\frac{5}{\varepsilon}\right) \right\}$ のようにスケーリングする。主な貢献は、$\Delta$ のみ、または $\mu^{(\star)}$ のみを知っている場合に有界レグレットが達成できないことを証明し、提案手法のミニマックス最適性を確立することである。

ABSTRACT

We study the stochastic multi-armed bandit problem when one knows the value $μ^{(\star)}$ of an optimal arm, as a well as a positive lower bound on the smallest positive gap $Δ$. We propose a new randomized policy that attains a regret {\em uniformly bounded over time} in this setting. We also prove several lower bounds, which show in particular that bounded regret is not possible if one only knows $Δ$, and bounded regret of order $1/Δ$ is not possible if one only knows $μ^{(\star)}$

研究の動機と目的

• 部分的な事前知識（具体的には $\mu^{(\star)}$ と $\Delta$ の下界）が得られる場合に、確率的マルチアームバンディットにおける有界レグレットが達成可能かどうかを調査すること。
• 特に2腕の場合に、$\mu^{(\star)}$ と $\Delta$ が既知である条件下で、一様に有界なレグレットを達成する確率的方策を設計すること。
• $\Delta$ のみ、または $\mu^{(\star)}$ のみが既知である場合に、有界レグレットが不可能であることを示すタイトな下界を確立すること、特に2腕設定においても同様に成立すること。
• $K$ 腕バンディットに方策を一般化し、$\varepsilon$（$\Delta$ の下界）に依存するレグレットの依存関係を分析し、$1/\varepsilon$ に対して対数スケーリングが成立することを示すこと。

提案手法

• 既知の $\mu^{(\star)}$ と $\Delta$ を前提とした2腕バンディット問題に対して、逐次尤度比検定に基づく確率的方策を提案し、有界レグレットを保証する。
• アーム選択の信頼性と既知の最適平均報酬およびギャップをバランスさせる確率的探索戦略を用いる。
• 集中不等式とKLダイバージェンスの境界を用いて、時間枠 $n$ に対して一様に、2腕の場合のレグレット上界を $\Delta + 16/\Delta$ として導出する。
• $K$ 腕への一般化は、同じ原則を用い、修正された探索スケジュールを適用することで行われ、$\varepsilon$ が $\Delta_i$ の下界であるとき、レグレットが $\sum_{i:\Delta_i>0} \left\{ \Delta_i + \frac{32}{\Delta_i} \log\left(\frac{5}{\varepsilon}\right) \right\}$ となる。
• 改善された方策では、$\log(1/\varepsilon)$ 項が $\log(\Delta_i/\varepsilon)\log\log(1/\varepsilon)$ に置き換えられ、$\Delta_i$ と $\varepsilon$ が同程度のオーダーにある場合に、対数的依存性が軽減される。
• 情報理論的道具（Kullback-Leiblerダイバージェンス、Hellinger適合度）を用いて、非漸近的下界をレグレットに対して導出する。

実験結果

リサーチクエスチョン

• RQ1 最適平均報酬 $\mu^{(\star)}$ と最小正のギャップ $\Delta$ の下界が既知である場合に、確率的マルチアームバンディットで一様に有界なレグレットが達成可能か？
• RQ2 2腕バンディット設定において、$\Delta$ のみが既知である場合、または $\mu^{(\star)}$ のみが既知である場合に、有界レグレットが達成可能か？
• RQ3 $K$ 腕バンディット設定で $\mu^{(\star)}$ が既知であるとき、$\varepsilon$（$\Delta$ の下界）に依存するレグレットの最適な依存関係は何か？
• RQ4 $\varepsilon$ が $\Delta_i$ に近い場合に、レグレット境界における $\log(1/\varepsilon)$ の依存性を改善できるか？
• RQ5 $\Delta$ のみ、または $\mu^{(\star)}$ のみが既知である場合のミニマックス下界は何か？また、提案方策の上界と比較するとどうなるか？

主な発見

• 提案方策は、$\mu^{(\star)}$ と $\Delta$ が既知である2腕バンディット問題において、$\Delta + 16/\Delta$ の一様に有界なレグレットを達成する。
• 僅か $\Delta$ のみを知っているいかなる方策も、$\Delta R_n$ の形でレグレットが $n$ に対して少なくとも対数的に増加することを示し、$\Delta$ のみで有界レグレットが達成できないことを証明する。
• 僅か $\mu^{(\star)}$ のみを知っているいかなる方策も、$\Delta R_n$ が少なくとも $\log n$ のオーダーで増加することを示し、$\mu^{(\star)}$ のみで有界レグレットが達成できないことを示す。
• $K$ 腕バンディット問題で $\mu^{(\star)}$ が既知であり、$\Delta$ の下界 $\varepsilon$ が与えられる場合、方策は $\sum_{i:\Delta_i>0} \left\{ \Delta_i + \frac{32}{\Delta_i} \log\left(\frac{5}{\varepsilon}\right) \right\}$ のようにレグレットを達成するが、これは定数の意味でタイトである。
• 改善された方策では、$\log(1/\varepsilon)$ 項が $\log(\Delta_i/\varepsilon)\log\log(1/\varepsilon)$ に置き換えられ、$\Delta_i$ と $\varepsilon$ が同程度のオーダーにある場合に、対数対数依存性を達成する。
• 本論文は、非漸近的下界を確立し、有界レグレットを達成するには $\mu^{(\star)}$ と $\Delta$ の両方の事前知識が必要であり、提案された境界がミニマックス最適であることを示している。