[論文レビュー] A Closer Look at the Worst-case Behavior of Multi-armed Bandit Algorithms

Anand Kalvit, Assaf Zeevi|arXiv (Cornell University)|Jun 3, 2021

Advanced Bandit Algorithms Research参考文献 18被引用数 6

ひとこと要約

本稿は、2つの最良腕の差が $1/\sqrt{n}$ のスケールで変化する小差領域における、多腕バンディット問題における上位信頼区間（UCB）アルゴリズムのきめ細かい解析を提供する。最悪ケース条件下で、UCBの腕選択行動が漸近的に決定的であることを示し、プロセスの拡散極限を導出し、$\mathcal{O}(\sqrt{n\log n})$ のミニマックスレグレットの新たな証明を提示するとともに、完全な学習が行われないThompson Samplingとの根本的な相違を明らかにする。

ABSTRACT

One of the key drivers of complexity in the classical (stochastic) multi-armed bandit (MAB) problem is the difference between mean rewards in the top two arms, also known as the instance gap. The celebrated Upper Confidence Bound (UCB) policy is among the simplest optimism-based MAB algorithms that naturally adapts to this gap: for a horizon of play n, it achieves optimal O(log n) regret in instances with "large" gaps, and a near-optimal O(\sqrt{n log n}) minimax regret when the gap can be arbitrarily "small." This paper provides new results on the arm-sampling behavior of UCB, leading to several important insights. Among these, it is shown that arm-sampling rates under UCB are asymptotically deterministic, regardless of the problem complexity. This discovery facilitates new sharp asymptotics and a novel alternative proof for the O(\sqrt{n log n}) minimax regret of UCB. Furthermore, the paper also provides the first complete process-level characterization of the MAB problem under UCB in the conventional diffusion scaling. Among other things, the "small" gap worst-case lens adopted in this paper also reveals profound distinctions between the behavior of UCB and Thompson Sampling, such as an "incomplete learning" phenomenon characteristic of the latter.

研究の動機と目的

• 最悪ケースの小差領域（2つの最良腕の差が $1/\sqrt{n}$ のスケールで変化する領域）におけるUCBの腕選択行動を理解すること。
• この領域におけるUCBアルゴリズムに対して、プロセスレベルの拡散近似を確立すること。
• UCBの $\mathcal{O}(\sqrt{n\log n})$ のミニマックスレグレットバウンドに対する、新たな代替的証明を提供すること。
• 特に最悪ケース条件下での学習の完全性と選択ダイナミクスの観点から、UCBとThompson Samplingを対比すること。

提案手法

• 小差スケーリング下で、腕の選択回数の経験的プロセスがブラウン運動に弱収束することを、ドンスカーの不変性原理を用いて導出する。
• 信頼区間プロセスと経験的選択頻度プロセスの合成を分析するため、確率的時間変換技術を導入する。
• 連続写像定理を適用し、レグレットプロセスが拡散極限に弱収束することを導出する。
• 時間は $n$ で正規化され、累積報酬プロセスは $\sqrt{n}$ でスケーリングされる拡散スケーリングを採用し、漸近的挙動を捉える。
• 漸近的選択割合を分析し、各腕について $\mathfrak{e}/2$ にほとんど確実に収束することを示す。ここで $\mathfrak{e}$ は2つの腕に費やされた合計時間の確率的変数を表す。
• UCBにおける腕選択レートが、問題の複雑さに依存せずに漸近的に決定的であるという事実を用い、鋭い漸近的挙動を導出する。

実験結果

リサーチクエスチョン

• RQ1 最悪ケースの小差領域におけるUCBの腕選択行動は、どのように漸近的に振る舞うか？
• RQ2 従来のスケーリング下でUCBプロセスに対して拡散近似を導出可能か？ そしてそれはレグレットダイナミクスに何を明らかにするか？
• RQ3 ミニマックス領域におけるUCBの累積レグレットの正確な漸近的分布は何か？
• RQ4 最悪ケースの小差設定において、UCBの学習行動はThompson Samplingとどのように異なるか？
• RQ5 プロセスレベルの極限定理を用いて、UCBの $\mathcal{O}(\sqrt{n\log n})$ のミニマックスレグレットバウンドを再導出可能か？

主な発見

• 2腕の場合において、UCBにおける腕選択レートは漸近的に決定的であり、2つの腕それぞれについて $\mathfrak{e}/2$ にほとんど確実に収束する。
• 信頼区間プロセスと選択頻度プロセスの連合プロセスは、ブラウン運動と漸近的選択割合を含む極限に弱収束する。
• 累積レグレットプロセスを $\sqrt{n}$ でスケーリングすると、$\frac{\Delta_0 t}{2} + \sqrt{\frac{\sigma_1^2 + \sigma_2^2}{2}} \tilde{B}(t)$ で与えられる拡散過程に弱収束する。ここで $\tilde{B}(t)$ は標準ブラウン運動である。
• この拡散極限は、UCBの $\mathcal{O}(\sqrt{n\log n})$ のミニマックスレグレットバウンドに対する、新たな代替的証明を提供する。
• Thompson Samplingは小差領域において完全な学習現象を示さないのに対し、UCBは極限において最適腕を完全に学習する。
• 最悪ケースのミニマックスレグレットは、$\Delta \asymp 1/\sqrt{n}$ のギャップスケーリングによって特徴づけられ、腕を区別する統計的困難さが最大に達する。