[論文レビュー] Pure Exploration for Multi-Armed Bandit Problems

Sébastien Bubeck, Rémi Munos+1 more|arXiv (Cornell University)|Feb 19, 2008

Advanced Bandit Algorithms Research参考文献 21被引用数 7

ひとこと要約

本稿は、固定回数のアームプル後に推奨されるアームの推定報酬と最良のアームの平均報酬との差（シンプルレグレット）を最小化することを目的とする、マルチアームバンディット問題における純粋探索を研究する。本稿では、累積レグレットとシンプルレグレットの間の根本的トレードオフを確立し、UCBに基づく戦略が対数的レグレットバウンドを達成することを証明している。また、連続的アームを持つバンディットにおいて、シンプルレグレットの最小化が、分離可能距離空間上の連続的平均報酬関数すべてに対して累積レグレットを最小化することと同値であることを示している。

ABSTRACT

We consider the framework of stochastic multi-armed bandit problems and study the possibilities and limitations of forecasters that perform an on-line exploration of the arms. These forecasters are assessed in terms of their simple regret, a regret notion that captures the fact that exploration is only constrained by the number of available rounds (not necessarily known in advance), in contrast to the case when the cumulative regret is considered and when exploitation needs to be performed at the same time. We believe that this performance criterion is suited to situations when the cost of pulling an arm is expressed in terms of resources rather than rewards. We discuss the links between the simple and the cumulative regret. One of the main results in the case of a finite number of arms is a general lower bound on the simple regret of a forecaster in terms of its cumulative regret: the smaller the latter, the larger the former. Keeping this result in mind, we then exhibit upper bounds on the simple regret of some forecasters. The paper ends with a study devoted to continuous-armed bandit problems; we show that the simple regret can be minimized with respect to a family of probability distributions if and only if the cumulative regret can be minimized for it. Based on this equivalence, we are able to prove that the separable metric spaces are exactly the metric spaces on which these regrets can be minimized with respect to the family of all probability distributions with continuous mean-payoff functions.

研究の動機と目的

• 最終的な推奨が唯一重要となるシンプルレグレット基準の下で、オンライン探索戦略の性能を分析すること。
• シンプルレグレットと累積レグレットの理論的関連を確立し、累積レグレットが低いほどシンプルレグレットが高くなることを示すこと。
• 有限アームおよび連続アームバンディット設定の両方において、シンプルレグレットを最小化するアルゴリズムの設計と分析を行うこと。
• 連続アームバンディットにおける確率分布族に対してシンプルレグレットを最小化できる条件を同定すること。
• すべての連続的平均報酬関数に対してシンプルレグレット最小化が可能な距離空間のクラス（特に分離可能距離空間）を特定すること。

提案手法

• 予測者がnラウンド（事前に不明）にわたりアームをサンプリングし、観測された報酬に基づいて1つのアームを推薦する形式的フレームワークを用いる。
• シンプルレグレットを、最良のアームの平均報酬と推奨アームの経験的平均報酬との期待値の差として分析する。
• ホーフィングの補題とサブガウスシャンプの尾部バウンドを適用し、経験的平均が真の平均から逸脱する期待最大値の上界を導出する。
• UCB(α)（α > 1）をキーストラテジーとして用い、その割り当てルールが有望なアームに集中して探索を行うことで、シンプルレグレットを低減できることを示す。
• 累積レグレットを用いたシンプルレグレットの一般下界を導出し、根本的トレードオフを確立する。
• UCB(α)戦略における探索のバランスをとるための正規化定数βを用い、非最適性ギャップΔiに応じて調整する。

実験結果

リサーチクエスチョン

• RQ1 マルチアームバンディット問題において、シンプルレグレットと累積レグレットの根本的関係は何か？
• RQ2 連続的アームバンディット問題においてシンプルレグレットを最小化できるか。その条件は何か？
• RQ3 UCB(α)のシンプルレグレット性能は、均等割り当てと比べてどう異なるか？
• RQ4 既知の非最適性ギャップを持つ有限アームバンディットにおいて、シンプルレグレットを最小化する最適割り当て戦略は何か？
• RQ5 どの距離空間が、すべての連続的平均報酬関数に対してシンプルレグレット最小化を可能にするか？

主な発見

• 一般下界により、累積レグレットが小さいほどシンプルレグレットが大きくなることが示され、根本的トレードオフが確立された。
• α > 1 の UCB(α) に対して、期待シンプルレグレットは O((n/Δ²)^{-(α-1)}) で有界であり、n に対して多項式的に減少する。
• UCB(α) のシンプルレグレットに対する上界は O((n/Δ²)^{-(α-1)}) であり、K が大きい場合に均等割り当ての O(Δ exp(−Δ²n/K)) よりも著しく優れている。
• 連続アームバンディットにおいて、すべての連続的平均報酬関数に対してシンプルレグレットを最小化することは、累積レグレットを最小化することと同値である。
• シンプルレグレットがすべての連続的平均報酬関数に対して最小化可能であるための必要十分条件は、基礎となる距離空間が分離可能であることである。
• 有限アームの場合、均等割り当てのシンプルレグレットは Δ exp(−Δ²⌊n/K⌋) で下界され、これは指数的に減少するが、K が大きい場合には UCB(α) よりも遅い。