[論文レビュー] Tight Regret Bounds for Stochastic Combinatorial Semi-Bandits

Branislav Kveton, Zheng Wen+2 more|arXiv (Cornell University)|Oct 3, 2014

Advanced Bandit Algorithms Research参考文献 12被引用数 57

ひとこと要約

本稿は、確率的組み合わせ的セミバンドイットにおいて、CombUCB1アルゴリズムのタイトなレグレットバウンドを提示し、$O(KL(1/\Delta)\log n)$ のギャップ依存型および $O(\sqrt{KLn\log n})$ のギャップフリー型のバウンドを証明している。これらは対数要因を除いて最適である。分析では、多くのアイテムが未観測である場合に、レグレットを複数のアイテムに分配するという画期的な技術を導入し、先行研究を著しく上回り、この設定におけるサンプル効率および計算効率の問題を解決した。

ABSTRACT

A stochastic combinatorial semi-bandit is an online learning problem where at each step a learning agent chooses a subset of ground items subject to constraints, and then observes stochastic weights of these items and receives their sum as a payoff. In this paper, we close the problem of computationally and sample efficient learning in stochastic combinatorial semi-bandits. In particular, we analyze a UCB-like algorithm for solving the problem, which is known to be computationally efficient; and prove $O(K L (1 / Δ) \log n)$ and $O(\sqrt{K L n \log n})$ upper bounds on its $n$-step regret, where $L$ is the number of ground items, $K$ is the maximum number of chosen items, and $Δ$ is the gap between the expected returns of the optimal and best suboptimal solutions. The gap-dependent bound is tight up to a constant factor and the gap-free bound is tight up to a polylogarithmic factor.

研究の動機と目的

• 確率的組み合わせ的セミバンドイットのサンプル効率に関する理解のギャップを埋めるために、CombUCB1アルゴリズムのタイトなレグレットバウンドを導出すること。
• 効率的なオフライン最適化オракルが利用可能な場合、CombUCB1が計算的およびサンプル的にも効率的であることを確立すること。
• 上界のタイトネスを、下界を導出することで、対数要因を除いて最適であることを証明すること。
• 未観測のアイテムが複数ある場合に、レグレットを個々のアイテムに帰属させるのではなく、複数のアイテムにわたって分配するという画期的な分析技術を開発すること。
• アルゴリズムの性能がギャップ依存型およびギャップフリー型の両設定において理論的限界と一致することを示すこと。

提案手法

• 本稿は、アイテムの重みに対する上位信頼区間を用い、オフライン最適化オラクルを照会して解を決定する、UCBに類似したCombUCB1の分析を行う。
• 主なイノベーションは、個々のアイテムごとにではなく、未観測のアイテムのグループ全体にわたってレグレットを帰属させることで、レグレットバウンドにおける過大評価を低減すること。
• 信頼半径パラメータ $\alpha_i$ および $\beta_i$ に幾何級数を用い、やや緩い制約のもとでタイトなバウンドが得られることを示している。
• 多数のアイテムが部分的にしか観測されていないような部分的解において、それらが不十分に観測されている確率を抑え込むために、新しい集中不等式およびイベント分解を用いている。
• 上界のタイトネスを証明するために、適切に構築された問題インスタンスを用いて下界を導出している。
• 本フレームワークは、近似オラクルやトーマス・サブミッションの変種へと拡張可能であり、より広範な適用可能性を示唆している。

実験結果

リサーチクエスチョン

• RQ1 CombUCB1の $O(KL(1/\Delta)\log n)$ のレグレットバウンドは、ギャップ依存型設定においてタイトか？
• RQ2 ギャップフリー型の $O(\sqrt{KLn\log n})$ レグレットバウンドは、$\Omega(\sqrt{KLn})$ の下界に正確に一致させられるか？
• RQ3 未観測の複数のアイテムにわたってレグレットを分配するという画期的な帰属技術は、従来の個別アイテム帰属分析を上回るタイトなバウンドをもたらすか？
• RQ4 CombUCB1は、確率的組み合わせ的セミバンドイットにおいて、計算的およびサンプル的にも効率的か？
• RQ5 本結果は、近似オラクルやトーマス・サブミッションの変種へと拡張可能か？

主な発見

• 本稿は、CombUCB1の $n$ ステップレグレットに対して $O(KL(1/\Delta)\log n)$ の上界を証明しており、これは定数因子を除いてタイトである。
• $O(\sqrt{KLn\log n})$ の上界が確立され、$\Omega(\sqrt{KLn})$ の下界と $\sqrt{\log n}$ 要因を除いて一致する。
• 著者らは、$\Omega(KL(1/\Delta)\log n)$ および $\Omega(\sqrt{KLn})$ の下界を導出し、上界のタイトネスを確認した。
• 未観測の複数のアイテムにわたってレグレットを分配するという画期的な帰属技術により、従来の個別アイテム分析を上回るタイトなバウンドが達成された。
• CombUCB1が計算的にも（オラクルが効率的であれば）かつサンプル的にも（近似的に最適なレグレットを達成する）効率的であることが示された。
• 結果から、確率的組み合わせ的セミバンドイットは、CombUCB1を用いることで、計算的およびサンプル的にも効率的に解けることが示唆された。