[論文レビュー] The best of both worlds: stochastic and adversarial bandits

Sébastien Bubeck, Aleksandrs Slivkins|arXiv (Cornell University)|Feb 20, 2012

Advanced Bandit Algorithms Research参考文献 27被引用数 132

ひとこと要約

本稿では、確率的および敵対的報酬環境の両方で近似的に最適なリグレットを達成する、SAO（Stochastic and Adversarial Optimal）と呼ばれるマルチアームバンディットアルゴリズムを紹介する。UCB1風の探索とExp3風の頑健性の間で適応的に切り替えることで、確率的設定では $\frac{K}{\Delta}\text{polylog}(n)$ のリグレットを達成し、敵対的設定では $\tilde{O}(\text{polylog}(n)\text{poly}(K)\text{poly}\sqrt{n})$ のリグレットを達成する。これにより、両者の長所を効果的に統合する。

ABSTRACT

We present a new bandit algorithm, SAO (Stochastic and Adversarial Optimal), whose regret is, essentially, optimal both for adversarial rewards and for stochastic rewards. Specifically, SAO combines the square-root worst-case regret of Exp3 (Auer et al., SIAM J. on Computing 2002) and the (poly)logarithmic regret of UCB1 (Auer et al., Machine Learning 2002) for stochastic rewards. Adversarial rewards and stochastic rewards are the two main settings in the literature on (non-Bayesian) multi-armed bandits. Prior work on multi-armed bandits treats them separately, and does not attempt to jointly optimize for both. Our result falls into a general theme of achieving good worst-case performance while also taking advantage of "nice" problem instances, an important issue in the design of algorithms with partially known inputs.

研究の動機と目的

• 確率的および敵対的報酬環境の両方で最適に動作する単一のバンディットアルゴリズムを設計すること。
• 確率的モデルにおいて $O(\text{polylog}(n))$ のリグレットを、敵対的モデルにおいて $O(\text{polylog}(n)\text{poly}(K)\text{poly}\text{sqrt}(n))$ のリグレットを同時に達成できるかどうかという未解決問題を解消すること。
• 特に報酬が確率的に見える場合に、探索と活用のバランスを敵対的攻撃に対して頑健に保つこと。
• 事前に環境の構造を知らずに、未知の報酬構造に適応できる統一されたフレームワークを開発すること。

提案手法

• SAOは、報酬の一貫性を統計的検定によって評価し、UCB1風の探索フェーズとExp3風の頑健フェーズの間で動的に切り替えるハイブリッド戦略を用いる。
• 各アームについて、上位信頼区間と実証的平均を維持し、報酬がi.i.d.（確率的）か敵対的かを判別するためのしきい値手法を用いる。
• 統計的検定が確率的性質を確認できない場合に発動する停止時刻 $\tau_0$ を用いて、UCBスタイルからExp3スタイルの行動に移行する。
• 推定誤差を制御するため、$\log \beta$ 項を含む信頼区間を用い、$\beta$ を時間とともに増加させて高確率の境界を保証する。
• 探索を制御するための重み付きサンプリング則を用い、$q_i$ 項を用いてギャップが小さいアームの十分な探索を保証する。
• 高確率の集中不等式とリグレットのフェーズ別分解を組み合わせ、$T_i(n)$ と $\tau_i$ の境界を活用してきめ細かいリグレット境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 単一のバンディットアルゴリズムが、確率的および敵対的環境の両方で近似的に最適なリグレットを達成できるか？
• RQ2 報酬がi.i.d. かどうかを自動的に検出し、それに応じて戦略を適応的に変更できるアルゴリズムを設計することは可能か？
• RQ3 敵対的報酬に対する頑健性と、確率的設定における効率性の間の最適なトレードオフは何か？
• RQ4 確率的モデルでのリグレットを $\tilde{O}(\frac{K}{\Delta})$ に抑えつつ、敵対的ケースで $\tilde{O}(\sqrt{nK})$ のリグレットを維持することは可能か？

主な発見

• 敵対的モデルでは、$\mathbb{E}[R_n] \leq O(\sqrt{nK} \log^{3/2}(n) \log K)$ のリグレットを達成し、Exp3の最悪ケース性能と対数要因を除いて一致する。
• 確率的モデルでは、$\mathbb{E}[\overline{R}_n] \leq O(\frac{K}{\Delta} \log^2(n) \log K)$ のリグレットを達成し、これは近似的に最適であり、UCB1の $O(\frac{K}{\Delta} \log n)$ の境界と対数要因を除いて一致する。
• 報酬系列が真にi.i.d. である限り、アルゴリズムは敵対的モデルでExp3を起動しない。これにより、効率的な探索が保証される。
• UCBスタイルからExp3スタイルへの移行は、非i.i.d. 性質が統計的検定で検出された場合にのみ発動するため、最小限のオーバーヘッドが発生する。
• 集中不等式を用いた高確率のリグレット境界を確立し、アームごとのプル回数の制御を徹底した結果、$\sum q_i \leq 1 + \log K$ が成立する。
• 解析により、確率的ケースでは $O(\text{polylog}(n))$ のリグレット、敵対的ケースでは $O(\sqrt{n})$ 型のリグレットを維持でき、両者の長所を統合した最良の性能が達成されたことが確認された。