[論文レビュー] Regret Analysis of the Anytime Optimally Confident UCB Algorithm

Tor Lattimore|arXiv (Cornell University)|Mar 29, 2016

Advanced Bandit Algorithms Research参考文献 17被引用数 23

ひとこと要約

本稿では、サブガウスノイズを伴う確率的マルチアームバンディット問題に対する最適に自信を持つUCB（OCUCB）アルゴリズムの、任意の時点から適用可能な変種であるOCUCB-$n$を提案する。このアルゴリズムは、ホライズン$n$の事前知識を必要とせず、有限時間におけるレグレットバウンドをほぼ最適に達成し、漸近的下界まで$\eta$および$\sqrt{\log\log n}$の要因で一致する。パラメータ$\rho$を介して有効なアーム数に適応する、新しい信頼区間を導入している。アルゴリズムは動的$B_i(t)$項を用いて探索を精緻化し、標準的なUCBやMOSSと比較して有限時間性能を向上させつつ、漸近的状態では理論的最適性を維持する。

ABSTRACT

I introduce and analyse an anytime version of the Optimally Confident UCB (OCUCB) algorithm designed for minimising the cumulative regret in finite-armed stochastic bandits with subgaussian noise. The new algorithm is simple, intuitive (in hindsight) and comes with the strongest finite-time regret guarantees for a horizon-free algorithm so far. I also show a finite-time lower bound that nearly matches the upper bound.

研究の動機と目的

• ホライズン$n$の事前知識を必要としない、最適に自信を持つUCB（OCUCB）アルゴリズムの任意の時点から適用可能なバージョンを開発すること。
• 既知の下界まで$\sqrt{\log\log n}$の項で一致する、ほぼ最適な有限時間におけるレグレットバウンドを達成すること。
• 平均ギャップが大きいアームの数を表す$k_{i,\rho}$を導入することで、問題の難易度の概念を精緻化すること。
• 新しいアルゴリズムのレグレット解析を厳密に行い、漸近的最適性が要因$\eta > 1$の範囲で達成されることを示すこと。
• UCB や MOSS などの既存のホライズンフリーなアルゴリズムを、アームの類似性とサンプリング回数に基づく適応的信頼区間を組み込むことで改善すること。

提案手法

• アルゴリズムは、上側信頼区間$\gamma_i(t) = \hat{\mu}_i(t-1) + \sqrt{\frac{2\eta \log(B_i(t-1))}{T_i(t-1)}}$を用いてアームを選択する。ここで$B_i(t-1)$は、サンプリング回数とアームの類似性に基づいて適応的に変化する。
• 信頼項$B_i(t-1)$は、$e$、$\log t$、および$t\log t$を、$T_i(t-1)$と$T_j(t-1)^\rho T_i(t-1)^{1-\rho}$の最小値の和で割ったものの最大値として定義され、有効なアーム間の相互作用を捉える。
• $\rho \in (1/2,1]$はアーム類似性への感受性を制御するパラメータであり、$\rho = 1/2$はロバストネスと性能のバランスを取る標準的な選択である。
• アルゴリズムは最初の$K$ラウンドで各アームを一度ずつプルすることで初期化され、その後、インデックスに基づく選択を信頼区間を用いて行う。
• レグレット解析は、集中不等式と、$\tau_{i,n}$（アーム$i$が十分にプルされる見込まれる時刻）に依存する新しい信頼水準の選択に基づく。
• 付録Aでは、上界とほぼ一致する下界が導出されており、現在の技術的条件下で$\log\log n$の項が避けられないこと、およびレグレット保証のタイトネスが裏付けられている。

実験結果

リサーチクエスチョン

• RQ1 ホライズン$n$の知識を必要とせず、ほぼ最適なレグレットを達成するOCUCBの任意の時点から適用可能なバージョンを設計できるか？
• RQ2 $\rho$の選択がアルゴリズムの有限時間的および漸近的レグレット性能に与える影響は何か？
• RQ3 信頼区間を、有効なアーム数とサンプリングのバランスを考慮する動的項$B_i(t)$を用いて精緻化できるか？
• RQ4 サブガウスノイズを伴うバンディット問題において、ホライズンフリーなUCB変種の、最もタイトな有限時間レグレットバウンドは何か？
• RQ5 理論的保証を損なわずに信頼水準をどれだけ小さくできるか、そしてその影響が実験的性能に与える影響は何か？

主な発見

• アルゴリズムOCUCB-$n$は、有限時間におけるレグレットバウンド$R^{\text{OCUCB-}n}_{\mu}(n) \leq C_{\eta} \sum_{i:\Delta_i>0} \left( \Delta_i + \frac{1}{\Delta_i} \log \max\left\{ \frac{n\Delta_i^2 \log n}{k_{i,\rho}}, \log n \right\} \right)$を達成しており、これはほぼ最適である。
• 漸近的レグレットは$\limsup_{n\to\infty} R^{\text{OCUCB-}n}_{\mu}(n)/\log n \leq \sum_{i:\Delta_i>0} \frac{2\eta}{\Delta_i}$を満たし、Lai-Robbinsの下界まで$\eta > 1$の要因で一致する。
• $k_{i,\rho} = \sum_{j=1}^K \min\{1, \Delta_i^{2\rho}/\Delta_j^{2\rho}\}$は、レグレットに影響を与える有効なアームの数を定量化するものであり、$\rho$に関して非増加であり、理論的タイトネスにおいて$\rho=1/2$が最適である。
• 実験的に、$\rho \in [1/2,1]$の範囲でアルゴリズムの感度は低く、さまざまな設定でも性能が安定している。
• 解析により、$\log\log n$の項が現在の技術的条件下で避けられないことが示され、付録Aの一致する下界により、レグレットバウンドがほぼタイトであることが確認された。
• $B_i(t-1)$内の対数項を単純化しても、アルゴリズムは依然としてロバストであり、理論的損失なしに実験的改善が可能であると示唆している。