[論文レビュー] Optimally Confident UCB: Improved Regret for Finite-Armed Bandits

Tor Lattimore|arXiv (Cornell University)|Jul 28, 2015

Advanced Bandit Algorithms Research参考文献 28被引用数 28

ひとこと要約

本稿では、自信区間のパラメータを動的に調整することで、問題依存のリグレットとワーストケースのリグレットを同時にオーダー最適に達成する、新しいマルチアームバンディットアルゴリズムであるOptimally Confident UCB（OCUCB）を提案する。UCB や MOSS よりも、楽観主義と信頼区間の信頼性のバランスを改善し、$O(\sqrt{Kn})$ のワーストケースリグレットと、$O\left(\sum_{i=2}^{K}\frac{1}{\Delta_i}\log\left(\frac{n}{H_i}\right)\right)$ の問題依存リグレットを達成する。ここで $H_i = \sum_{j=1}^{K}\min\left\{\frac{1}{\Delta_i^2}, \frac{1}{\Delta_j^2}\right\}$ である。

ABSTRACT

I present the first algorithm for stochastic finite-armed bandits that simultaneously enjoys order-optimal problem-dependent regret and worst-case regret. Besides the theoretical results, the new algorithm is simple, efficient and empirically superb. The approach is based on UCB, but with a carefully chosen confidence parameter that optimally balances the risk of failing confidence intervals against the cost of excessive optimism.

研究の動機と目的

• 問題依存リグレットとワーストケースリグレットの両方を同時にオーダー最適に達成するバンディットアルゴリズムの設計という未解決問題を解決すること。
• UCB や MOSS や改善版UCB といった既存のアルゴリズムは、一方のリグレットタイプを犠牲にしているか、過度に複雑であるため、それらを改善すること。
• 楽観主義と信頼区間の信頼性のバランスを取った、シンプルで効率的かつ実験的に優れたアルゴリズムを構築すること。
• 理論的保証を提供することにより、既存の境界を同等または上回りつつ、実用性を維持すること。

提案手法

• アルゴリズムはUCBに基づくが、信頼区間の幅を制御する調整可能な信頼パラメータ $\alpha > 2$ と $\psi \geq 2$ を用いる。
• 行動選択は上側信頼区間を用いて行う：$I_t = \arg\max_i \hat{\mu}_i(t) + \sqrt{\frac{\alpha}{T_i(t)} \log\left(\frac{\psi n}{t}\right)}$、ここで $T_i(t)$ は時刻 $t$ までにアーム $i$ が引かれた回数である。
• 信頼区間の幅は、信頼区間の失敗リスクを最小限に抑えつつ、過度な楽観主義を避けるように慎重に調整されている。
• 理論的解析により、問題依存リグレットは $O\left(\sum_{i=2}^{K}\frac{1}{\Delta_i}\log\left(\frac{n}{H_i}\right)\right)$、ワーストケースリグレットは $O(\sqrt{Kn})$ にスケーリングすることが示された。
• アルゴリズムは、ホライズン $n$ の知識を必要とするため、いつでも使える（anytime）ではないが、再起動や適応的ホライズン処理による拡張についても議論されている。
• 理論的境界は、UCB やトムソンサンプリング、MOSS と比較する実験的評価によって裏付けられており、さまざまな設定で OCUCB が優れていることが示された。

実験結果

リサーチクエスチョン

• RQ1 バンディットアルゴリズムが、同時にオーダー最適な問題依存リグレットとワーストケースリグレットを達成できるか。
• RQ2 UCB の信頼パラメータをどのようにチューニングすれば、楽観主義と信頼区間の信頼性のバランスを最適化できるか。
• RQ3 MOSS や改善版UCB よりも理論的・実験的性能を同等または上回る、シンプルで効率的なアルゴリズムが存在するか。
• RQ4 より洗練されたアームの難易度測度、例えば $H_i = \sum_{j=1}^{K}\min\left\{\frac{1}{\Delta_i^2}, \frac{1}{\Delta_j^2}\right\}$ を組み込むことで、リグレット境界をさらにタイトにできるか。
• RQ5 非漸近的問題依存下界を導出でき、提案アルゴリズムの上界に非常に近いものになるか。

主な発見

• OCUCB は $O(\sqrt{Kn})$ のワーストケースリグレットを達成しており、定数要因を除いて理論的下界と一致する。
• OCUCB の問題依存リグレットは $O\left(\sum_{i=2}^{K}\frac{1}{\Delta_i}\log\left(\frac{n}{H_i}\right)\right)$ であり、$H_i = \sum_{j=1}^{K}\min\left\{\frac{1}{\Delta_i^2}, \frac{1}{\Delta_j^2}\right\}$ である。これはUCB よりも改善されており、Lai-Robbins の漸近的最適性と一致する。
• 複数の実験的設定において、UCB やトムソンサンプリング、MOSS よりも OCUCB が実験的に優れている。特にワーストケースおよび中間的設定で顕著である。
• 理論的解析により、OCUCB はUCB の過度な慎重さと、MOSS の不十分な慎重さを回避し、信頼パラメータを最適にチューニングしていることが確認された。
• 本稿では、非漸近的下界を提示しており、$\log\log K$ 要因を除いてほぼタイトである。これは、上界が非常に最適に近いことを示唆している。
• アルゴリズムはシンプルで効率的であり、複雑な構成要素を含まないため、実世界への適用に実用的である。ただし、ホライズンの知識が必要である点に注意が必要である。