[論文レビュー] The Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms

Mohsen Bayati, Nima Hamidi+2 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿では、腕の数 $k \geq \sqrt{T}$ の場合、標準的な設定における既知の劣化性にもかかわらず、greedyアルゴリズムが多くの腕を持つベイジアンマルチアームバンディット問題においてレート最適なレジーットを達成することを示している。主な洞察は、腕の報酬の重たい尾を持つ事前分布に起因する、新たな形の「無料探索」であり、greedyアルゴリズムが明示的な探索を伴わずに近似的に最適な腕を素早く特定できることに起因する。シミュレーションでは、サブサンプルされたUCBやトマソンサンプリングでさえもこれを上回る性能を示している。

ABSTRACT

We investigate a Bayesian $k$-armed bandit problem in the \\emph{many-armed} regime, where $k \\geq \\sqrt{T}$ and $T$ represents the time horizon. Initially, and aligned with recent literature on many-armed bandit problems, we observe that subsampling plays a key role in designing optimal algorithms; the conventional UCB algorithm is sub-optimal, whereas a subsampled UCB (SS-UCB), which selects $\\Theta(\\sqrt{T})$ arms for execution under the UCB framework, achieves rate-optimality. However, despite SS-UCB's theoretical promise of optimal regret, it empirically underperforms compared to a greedy algorithm that consistently chooses the empirically best arm. This observation extends to contextual settings through simulations with real-world data. Our findings suggest a new form of \\emph{free exploration} beneficial to greedy algorithms in the many-armed context, fundamentally linked to a tail event concerning the prior distribution of arm rewards. This finding diverges from the notion of free exploration, which relates to covariate variation, as recently discussed in contextual bandit literature. Expanding upon these insights, we establish that the subsampled greedy approach not only achieves rate-optimality for Bernoulli bandits within the many-armed regime but also attains sublinear regret across broader distributions. Collectively, our research indicates that in the many-armed regime, practitioners might find greater value in adopting greedy algorithms.

研究の動機と目的

• 腕の数 $k \geq \sqrt{T}$ の多くの腕を持つマルチアームバンディット設定におけるgreedyアルゴリズムの性能を分析すること。
• greedyアルゴリズムが高腕設定において、UCB やトマソンサンプリングといった標準的な探索・活用アルゴリズムを上回る理由を特定すること。
• 腕の報酬の事前分布の尾の挙動に起因する、新たな「無料探索」のメカニズムを形式化すること。
• ベルヌーイ分布および一般の報酬分布に対して、多くの腕を持つ状況でレート最適なレジーットを達成するサブサンプルされたgreedyアルゴリズム（SS-Greedy）の理論的証明を行うこと。

提案手法

• 腕の数を $\Theta(\sqrt{T})$ 個にランダムにサブサンプルし、そのサブセットに対してgreedy選択を適用する、サブサンプルされたgreedyアルゴリズム（SS-Greedy）を提案する。
• 腕の平均値のi.i.d.事前分布を仮定するベイジアンフレームワークを用い、特に事前分布の尾の挙動に注目する。
• 多くの腕を持つ状況におけるベイジアンレジーットに対して、$\Omega(\sqrt{T})$ の理論的下界を確立する。
• 部分ガウス型濃度不等式を用いて、劣悪な腕の期待選択回数を評価することで、レジーットを分析する。
• 劣悪な腕 $i$ の期待選択回数が、$\min\left(1 + \frac{3}{C_1(1-2\delta - \mu_i)}, T(1-\mu_i)\right)$ で抑えられることを示し、尾確率の減衰を活用する。
• $k \geq \sqrt{T}$ のとき、SS-Greedyのベイジアンレジーットが $\tilde{O}(\sqrt{T})$ であり、$k < \sqrt{T}$ のとき $\tilde{O}(T/k)$ であることを証明し、レート最適性を確立する。

実験結果

リサーチクエスチョン

• RQ1 greedyアルゴリズムは、標準設定では線形レジーットを示すにもかかわらず、なぜ多くの腕を持つバンディット設定においてUCB やトマソンサンプリングを上回るのか？
• RQ2 greedyアルゴリズムが高腕設定で最適なレジーットを達成できるメカニズムは何か？ これは文脈バンディットにおける無料探索とはどのように異なるのか？
• RQ3 事前分布の尾の挙動は、この新たな形の無料探索にどのように寄与しているのか？
• RQ4 ベルヌーイ分布および一般の報酬分布に対して、サブサンプルされたgreedyアルゴリズム（SS-Greedy）は、多くの腕を持つ状況でレート最適なのか？
• RQ5 部分ガウス型濃度不等式と事前分布の尾の分析を用いて、greedyアルゴリズムの理論的レジーットバウンドを導出可能か？

主な発見

• greedyアルゴリズムは $k \geq \sqrt{T}$ のとき $\tilde{O}(\sqrt{T})$ のベイジアンレジーットを達成し、理論的下界 $\Omega(\sqrt{T})$ と一致するため、レート最適性が証明される。
• 腕の数 $m = \sqrt{T}$ のサブサンプルUCB（SS-UCB）も $\tilde{O}(\sqrt{T})$ のレジーットを達成し、レート最適であるが、数値的にgreedyアルゴリズムに劣る。
• greedyアルゴリズムは、多くの近似的に最適な腕が存在するという事実に起因する、新たな形の「無料探索」の恩恵を受ける。これは、腕の報酬の重たい尾を持つ事前分布に起因する。
• この無料探索の源は、文脈バンディットにおけるものとは根本的に異なり、後者では共変量の変動に依存するが、本稿のケースでは事前分布の尾の挙動に依存する。
• サブサンプル数 $m = T^{2/3}$ のサブサンプルgreedyアルゴリズム（SS-Greedy）は、合成データおよび実世界データの両方のシミュレーションで、最も優れた実験的性能を示した。
• 理論的分析により、greedyアルゴリズムのベイジアンレジーットが $k < \sqrt{T}$ のとき $\tilde{O}(T/k)$、$k \geq \sqrt{T}$ のとき $\tilde{O}(\sqrt{T})$ であることが確認され、両設定で最適性が保証された。