[論文レビュー] Unimodal Bandits: Regret Lower Bounds and Optimal Algorithms

Richard Combes, Alexandre Proutière|arXiv (Cornell University)|May 20, 2014

Advanced Bandit Algorithms Research参考文献 24被引用数 42

ひとこと要約

本稿では、腕の数に依存しない新たな下界に一致する漸近的レグレットを達成する、単峰性バンディット問題における最適なアルゴリズムOSUBを提案する。単峰性構造を的確に活用したサンプリングにより、特に時間の長さが腕の数に比べて大きい場合に、LSEなどの既存手法を上回る性能を発揮する。

ABSTRACT

We consider stochastic multi-armed bandits where the expected reward is a unimodal function over partially ordered arms. This important class of problems has been recently investigated in (Cope 2009, Yu 2011). The set of arms is either discrete, in which case arms correspond to the vertices of a finite graph whose structure represents similarity in rewards, or continuous, in which case arms belong to a bounded interval. For discrete unimodal bandits, we derive asymptotic lower bounds for the regret achieved under any algorithm, and propose OSUB, an algorithm whose regret matches this lower bound. Our algorithm optimally exploits the unimodal structure of the problem, and surprisingly, its asymptotic regret does not depend on the number of arms. We also provide a regret upper bound for OSUB in non-stationary environments where the expected rewards smoothly evolve over time. The analytical results are supported by numerical experiments showing that OSUB performs significantly better than the state-of-the-art algorithms. For continuous sets of arms, we provide a brief discussion. We show that combining an appropriate discretization of the set of arms with the UCB algorithm yields an order-optimal regret, and in practice, outperforms recently proposed algorithms designed to exploit the unimodal structure.

研究の動機と目的

• 部分的に順序付けられた腕の上での単峰性報酬構造を有するマルチアームバンディットの課題に取り組む。ここで期待報酬は唯一の最適腕でピークに達する。
• グラフサイズや腕の数に依存しない、単峰性バンディットの漸近的レグレット下界を導出する。これは、問題の本質的難易度を反映する。
• 現在の最適腕の推定値に近い腕の周辺を最適にサンプリングすることで、この下界に到達する新しいアルゴリズムOSUBを提案する。
• 報酬が滑らかに変化する非定常環境において、OSUBの性能を分析する。この環境でも単峰性構造は維持される。
• 理論的および実験的検証を通じて、離散化に基づくUCB手法が連続的状況においても順序的に最適であり、特化した単峰性アルゴリズムを上回ることを示す。

提案手法

• 情報理論的議論を用いて、最適レグレットが腕の数やグラフ構造に依存せず、最良腕とのギャップにのみ依存することを示す漸近的レグレット下界を導出する。
• 現在の最良腕の周囲に焦点を当てた探索と、信頼区間に基づく選択ルールに従うサンプリングにより、探索と活用のバランスを取るOSUBを設計する。
• 二段階のサンプリング戦略を採用する：第一段階では、現在の最良推定値の近傍の腕を探索する。第二段階では、対象となる領域を絞り込むために対数的サンプリングスケジュールを用いる。
• 有限時間レグレット解析を適用し、$ O( au eta ho au + K) $ の上界を導出する。ここで $ au $ は時間の長さ、$ eta $ は最大次数、$ K $ は腕の数を表す。
• 滑らかな時間変動報酬をモデル化することで非定常環境への分析を拡張し、OSUBがこのようなダイナミクス下でも非線形レグレットを維持することを示す。
• 連続的腕の状況では、区間の離散化とUCBを組み合わせるスキームを提案し、順序的最適性を証明するとともに、特化した単峰性アルゴリズムを実務的に上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 腕の数やグラフ構造に依存しない、単峰性バンディットの根本的漸近的レグレット下界は何か？
• RQ2 報酬の単峰性構造を活用することで、この下界に到達可能なアルゴリズムを設計できるか？
• RQ3 OSUBのレグレットは、腕の数や時間の長さに対して、LSEなどの既存手法と比較してどのようにスケーリングされるか？
• RQ4 報酬が時間とともに滑らかに変化する非定常環境下で、OSUBの性能はいかがなものか？
• RQ5 連続的腕に対して、単純な区間の離散化とUCBを組み合わせることで、順序的に最適なレグレットを達成でき、特化した単峰性アルゴリズムを上回る性能を発揮できるか？

主な発見

• 単峰性バンディットの漸近的レグレット下界は $ O( au eta ho au) $ であり、古典的なMABの下界と一致する。腕の数やグラフサイズに依存しない。
• OSUBはこの下界に到達し、腕の数に依存しないため、漸近的に最適である。
• OSUBの有限時間レグレットは $ O( au eta ho au + K) $ で上界が与えられ、$ T o au $ かつ $ T o au $ のとき、LSEの $ O( au eta D au) $ よりも改善される。特に $ T $ が大きい場合に顕著である。
• 滑らかな報酬変動を伴う非定常環境下でも、OSUBは非線形レグレットを維持し、時間変動報酬に対して高いロバストネスを示す。
• 連続的腕の状況では、区間の単純な離散化とUCBを組み合わせることで、順序的に最適なレグレットが達成され、実務的に特化した単峰性アルゴリズムを上回る。
• 数値実験により、OSUBがLSEおよび古典的UCBを著しく上回ることが確認され、特に腕の数が時間の長さに比べて小さい場合に顕著である。