[論文レビュー] Normal Bandits of Unknown Means and Variances: Asymptotic Optimality, Finite Horizon Regret Bounds, and a Solution to an Open Problem

Wesley Cowan, Michael N. Katehakis+1 more|arXiv (Cornell University)|Apr 22, 2015

Advanced Bandit Algorithms Research参考文献 38被引用数 8

ひとこと要約

本稿は、平均と分散が未知の正規分布に従うマルチアームバンディット問題に対して、Inflated Sample Mean (ISM) インデックス方策を提案し、その漸近的最適性を証明するとともに、有限時間におけるリグレットバウンドを確立している。これは、BurnetasとKatehakis (1996b) が提起した未解決問題を解決し、ISM方策がリグレット成長の情報理論的下界に達していることを示しており、トムソンサンプリングの漸近的性能を再現するが、決定的でインデックスに基づく代替手法を提供する。

ABSTRACT

Consider the problem of sampling sequentially from a finite number of $N \geq 2$ populations, specified by random variables $X^i_k$, $ i = 1,\ldots , N,$ and $k = 1, 2, \ldots$; where $X^i_k$ denotes the outcome from population $i$ the $k^{th}$ time it is sampled. It is assumed that for each fixed $i$, $\{ X^i_k \}_{k \geq 1}$ is a sequence of i.i.d. normal random variables, with unknown mean $μ_i$ and unknown variance $σ_i^2$. The objective is to have a policy $π$ for deciding from which of the $N$ populations to sample form at any time $n=1,2,\ldots$ so as to maximize the expected sum of outcomes of $n$ samples or equivalently to minimize the regret due to lack on information of the parameters $μ_i$ and $σ_i^2$. In this paper, we present a simple inflated sample mean (ISM) index policy that is asymptotically optimal in the sense of Theorem 4 below. This resolves a standing open problem from Burnetas and Katehakis (1996). Additionally, finite horizon regret bounds are given.

研究の動機と目的

• 平均と分散が未知の正規バンディット問題における漸近的最適性に関する、長年の未解決問題に取り組むこと。
• 未知のパラメータ下で最適なリグレット成長率を達成する決定的でインデックスに基づく方策を開発すること。
• 提案された方策の有限時間におけるリグレットバウンドを確立し、漸近的分析を超えた性能保証を確保すること。
• UCBやトムソンサンプリングといった既存手法と比較して、リグレットと分散の観点から提案されたISM方策を評価すること。
• ISM方策がリグレット成長の情報理論的下界に達していることを実証し、漸近的最適性を確認すること。

提案手法

• 探索と活用のバランスを図るため、分散依存のインフレーション項を組み込んだ修正された標本平均を用いる Inflated Sample Mean (ISM) インデックス方策を導入する。
• 計算の簡便さと理論的導出との整合性を考慮し、頻度主義的アプローチを採用し、バイアス付き標本分散推定量 $ S_i^2(k) = \sum_{t=1}^k (X^i_t - \bar{X}^i_k)^2 / k $ を使用する。
• 集中不等式とマルティングルの議論を活用して、非最適アームの期待的なサンプリング時間の分析により、有限時間におけるリグレットバウンドを導出する。
• ISM方策の漸近的最適性を証明する。具体的には、リグレットが $ \lim_{n \to \infty} R_{\pi}(n) / \ln n = \mathbb{M}_{\text{BK}}(\underline{\mu}, \underline{\sigma}^2) $ を満たすことを示し、情報理論的下界と一致することを確認する。
• 複数のバンディットパラメータ設定において、ISMとUCB1-NORMAL、グリーディ、トムソンサンプリング方策を比較するシミュレーションスタディにより理論的結果を検証する。
• 数値実験を通じて、方策間でのリグレットとリグレットの分散を比較し、文脈依存の性能差を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 平均と分散が未知の正規報酬を持つマルチアームバンディット問題において、決定的でインデックスに基づく方策が漸近的最適性を達成できるか。
• RQ2 このような方策に対して、有限時間におけるリグレットバウンドをどの程度確立でき、既存手法と比較してどうなるか。
• RQ3 提案されたISM方策が、正規バンディット問題におけるBurnetas-Katehakisフレームワークにおける漸近的最適性の未解決問題を解消できるか。
• RQ4 実際の応用において、トムソンサンプリングのような確率的方策と比較して、ISM方策の期待リグレットと分散はどのようになるか。
• RQ5 どのような条件下でISM方策はトムソンサンプリングやUCBベースの手法を上回るか、あるいは下回るか。

主な発見

• ISM方策は漸近的に最適であり、$ \lim_{n \to \infty} R_{\pi}(n) / \ln n = \mathbb{M}_{\text{BK}}(\underline{\mu}, \underline{\sigma}^2) $ を満たし、BurnetasとKatehakis (1996b) が確立した情報理論的下界と一致する。
• 有限時間におけるリグレットバウンドが導出され、ISM方策のリグレットが $ n $ に関して対数的に成長することが示され、最適な成長率と一致する。
• シミュレーション結果から、ISM方策は期待リグレットの観点でトムソンサンプリングと同等の性能を示し、最適なバンディットの分散が非最適なバンディットよりも高い状況ではわずかな優位性を示す。
• テストされた設定において、ISM方策はトムソンサンプリングよりもリグレットの分散が低く、より一貫した性能を示す。
• 提案された方策は、平均と分散が未知の正規バンディット問題における漸近的最適性の未解決問題を解決し、確率的方策の代替としての決定的代替案を提供する。
• 数値比較により、ISM方策はグリーディおよびUCB1-NORMAL方策よりもリグレットの観点で優れていることが確認され、特に初期および中間の時間枠で顕著である。