[論文レビュー] An Asymptotically Optimal Policy for Uniform Bandits of Unknown Support

Wesley Cowan, Michael N. Katehakis|arXiv (Cornell University)|May 8, 2015

Advanced Bandit Algorithms Research参考文献 42被引用数 19

ひとこと要約

本稿では、支持が未知の分布をとる多腕バンディット問題に対して、漸近的に最適な上側信頼区間（UCB）型方策を提案する。サンプル平均をカルバック・ライブラー（KL）ダイバージェンスの制約に基づいて拡張することで、最小限のレグレット成長率を達成し、BurnetasとKatehakis（1996b）が導出した理論的下界と一致する。また、短期および長期の両時間スケールにおいて有効であることを示す有限時限レグレットバウンドも提供する。

ABSTRACT

Consider the problem of a controller sampling sequentially from a finite number of $N \geq 2$ populations, specified by random variables $X^i_k$, $ i = 1,\ldots , N,$ and $k = 1, 2, \ldots$; where $X^i_k$ denotes the outcome from population $i$ the $k^{th}$ time it is sampled. It is assumed that for each fixed $i$, $\{ X^i_k \}_{k \geq 1}$ is a sequence of i.i.d. uniform random variables over some interval $[a_i, b_i]$, with the support (i.e., $a_i, b_i$) unknown to the controller. The objective is to have a policy $π$ for deciding, based on available data, from which of the $N$ populations to sample from at any time $n=1,2,\ldots$ so as to maximize the expected sum of outcomes of $n$ samples or equivalently to minimize the regret due to lack on information of the parameters $\{ a_i \}$ and $\{ b_i \}$. In this paper, we present a simple inflated sample mean (ISM) type policy that is asymptotically optimal in the sense of its regret achieving the asymptotic lower bound of Burnetas and Katehakis (1996). Additionally, finite horizon regret bounds are given.

研究の動機と目的

• 独立同一分布に従う一様バンディットの支持が未知である状況において、レグレットを最小化する逐次的サンプリング方策を開発すること。
• カルバック・ライブラー（KL）ダイバージェンスに基づいて導出されたレグレット成長の理論的下界と一致させることで、漸近的最適性を達成すること。
• 短期および長期の両時間スケールで性能を検証するため、有限時限のレグレットバウンドを提供すること。
• 分布的不確実性に基づく拡張されたサンプル平均を導入することで、UCBフレームワークを一様バンディットに拡張すること。

提案手法

• KLダイバージェンス制約を満たす分布の上での期待値の上界として定義される、拡張されたサンプル平均に基づいて行動を選択するUCB型方策を提案する。
• インデックス $ u^i(n,t) = \sup_{g \in \mathcal{F}} \left\{ \mu(g) : \mathbf{I}(\hat{f}^i_t, g) < \frac{\ln n}{t} \right\} $ を用いる。ここで $ \hat{f}^i_t $ は、バンディット $ i $ から得られた $ t $ 個の標本に基づく実証的分布である。
• Burnetas-Katehakis（BK）フレームワークを用いて、レグレットの下界を導出する：$ \mathbf{M}_{\text{BK}}(\{f_i\}) = \sum_{i:\mu_i \neq \mu^*} \frac{\Delta_i}{\inf_{g \in \mathcal{F}} \{ \mathbf{I}(f_i, g) : \mu(g) \geq \mu^* \}} $。
• 一様分布の濃度の性質を活用し、確率的不等式およびKLダイバージェンスの尾部確率のバウンドを用いて、有限時限のレグレットバウンドを確立する。
• 既存の方策（例：$ \pi_{\text{KR}}, \pi_{\text{CHK}} $）と比較する数値シミュレーションを通じて、性能を検証する。6つのバンディットに対して、支持は既知だが未知の状態で評価した。
• レグレット項の成長を制御するために、$ \sum_{t=3}^n \frac{1}{t} \sum_{s=1}^\infty t^{-1/s} (1-\alpha)^s \leq 30 + \frac{6}{\alpha^3} $ という新しいバウンドを導出し、パラメータ設定にかかわらず一様性を保証する。

実験結果

リサーチクエスチョン

• RQ1 支持が未知の状態における一様バンディット問題に対して、漸近的最適性を達成するUCBスタイルの方策を設計できるか？
• RQ2 このような方策に対して、最もきつい有限時限のレグレットバウンドは何か？
• RQ3 短期および長期の両時間スケールにおいて、提案された方策は既存のUCBおよびKLベースの方策と比較して、性能に優れているか？
• RQ4 サンプル平均のKLダイバージェンス制約付き拡張を、最適方策への収束を保証するように厳密にバウンドできるか？

主な発見

• 提案された方策 $ \pi_{\text{CK}} $ は漸近的最適性を達成し、$ \lim_{n \to \infty} \frac{R_{\pi}(n)}{\ln n} = \mathbf{M}_{\text{BK}}(\{f_i\}) $ が成り立ち、BurnetasとKatehakis（1996b）が導出した理論的下界と一致する。
• 有限時限のレグレットバウンドが確立され、方策のレグレットが $ n $ に関して対数的に成長することが示され、実用上の効率性が裏付けられる。
• 数値的シミュレーションにより、$ \pi_{\text{CK}} $ は短期および長期の両時間スケールにおいて、$ \pi_{\text{KR}} $ や $ \pi_{\text{CHK}} $ より顕著に優れていることが確認され、特に初期段階で顕著な優位性を示す。
• レグレット成長の制御に用いられるバウンド $ \sum_{t=3}^n \frac{1}{t} \sum_{s=1}^\infty t^{-1/s} (1-\alpha)^s \leq 30 + \frac{6}{\alpha^3} $ が導出され、パラメータ設定にかかわらず一様性が保証される。
• KLダイバージェンス制約付き平均の拡張を用いた方策設計により、探索は最悪ケースの分布的不確実性に基づいて誘導され、その結果、頑健かつ効率的なサンプリングが実現される。