[論文レビュー] A General Framework to Analyze Stochastic Linear Bandit

Nima Hamidi, Mohsen Bayati|arXiv (Cornell University)|Feb 12, 2020

Advanced Bandit Algorithms Research参考文献 29被引用数 15

ひとこと要約

本論文は、確率的線形バンディットにおける一般化されたフレームワークを導入し、OFUL、トゥーリングサンプリング、OLSバンディットといった主要なアルゴリズムのレート最適性を統一的に証明する。また、不確実性複雑性と期待値における楽観主義を組み合わせた、新たなレート最適なアルゴリズムであるSieved-Greedy（SG）を提案し、実験において従来手法を顕著に上回る性能を示す。

ABSTRACT

In this paper, we study the well-known stochastic linear bandit problem where a decision-maker sequentially chooses among a set of given actions in $\mathbb{R}^d$, observes their noisy linear reward, and aims to maximize her cumulative expected reward over a horizon of length $T$. We first introduce a general family of algorithms for the problem and prove that they achieve the best-known performance (aka, are rate optimal). Our second contribution is to show that several well-known algorithms for the problem such as optimism in the face of uncertainty linear bandit (OFUL), Thompson sampling (TS), and OLS Bandit (a variant $\epsilon$-greedy) are special cases of our family of algorithms. Therefore, we obtain a unified proof of rate optimality for all of these algorithms, for both Bayesian and frequentist settings. Our new unified technique also yields a number of new results such as obtaining poly-logarithmic (in $T$) regret bounds for OFUL and TS, under a generalized gap assumption and a margin condition as in Goldenshluger and Zeevi (2013). A key component of our analysis technique is the introduction of a new notion of uncertainty complexity that directly captures the complexity of uncertainty in the action sets that we show is connected to regret analysis of any policy. Our third and most important contribution, from both theoretical and practical points of view, is the introduction of a new rate-optimal algorithm called Sieved-Greedy (SG) by combining insights from uncertainty complexity and a new (and general) notion of optimism in expectation. Specifically, SG works by filtering out the actions with relatively low uncertainty and then chooses one among the remaining actions greedily. Our empirical simulations show that SG significantly outperforms existing benchmarks by combining the best attributes of both greedy and OFUL algorithms.

研究の動機と目的

• 確率的線形バンディットにおける一般化されたアルゴリズム族を構築し、レート最適なレギュレート性能を達成すること。
• OFUL、トゥーリングサンプリング、OLSバンディットといった代表的な既存アルゴリズムを、一つの理論的枠組みで統合すること。
• 一般化されたギャップおよびマージン条件の下で、対数的多項式レギュレートバウンドを確立すること。
• 不確実性フィルタリングとグリーディ選択を組み合わせた、より優れた経験的性能を示す新しいアルゴリズム、Sieved-Greedy（SG）を導入すること。
• 不確実性複雑性を直接的にレギュレート分析に関連づけ、ポリシー評価のための新たな理論的視点を提供すること。

提案手法

• 不確実性複雑性の新しい概念に基づき、確率的線形バンディットの一般化されたアルゴリズム族を提案する。
• 任意のポリシーのレギュレート分析に不確実性複雑性を結びつける新しい理論的枠組みを導入する。
• OFUL、トゥーリングサンプリング、OLSバンディットが、提案されたアルゴリズム族の特別なケースであることを示す。
• 不確実性複雑性と一般化された期待値における楽観主義の概念を組み合わせて、Sieved-Greedy（SG）を構築する。
• 高不確実性を示す行動をフィルタリングし、残りの集合に対してグリーディ選択を適用する。
• GoldenshlugerとZeevi（2013）の一般化されたギャップ仮定およびマージン条件を用いて、対数的多項式レギュレートバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 OFUL やトゥーリングサンプリングといった主要な確率的線形バンディットアルゴリズムのレート最適性を統一的に証明するための理論的枠組みを構築できるか？
• RQ2 不確実性複雑性は、線形バンディットポリシーのレギュレートを特徴付ける上で果たす役割は何か？
• RQ3 OFUL やトゥーリングサンプリングにおいて、対数的多項式レギュレートが達成可能な条件は何か？
• RQ4 期待値における楽観主義はどのように形式化され、不確実性フィルタリングと組み合わせて、より優れたアルゴリズムを設計できるか？
• RQ5 グリーディアプローチと楽観的アプローチの長所を統合した、新たなアルゴリズムを構築できるか？

主な発見

• 提案された一般化されたアルゴリズム族は、確率的線形バンディットにおいてレート最適なレギュレート性能を達成する。
• OFUL、トゥーリングサンプリング、OLSバンディットが、提案されたフレームワークの特別なケースとして明確に示され、それらのレート最適性の証明が統合された。
• 一般化されたギャップ仮定およびマージン条件の下で、OFULおよびトゥーリングサンプリングに対して対数的多項式レギュレートバウンドが確立された。
• Sieved-Greedy（SG）は、新たなレート最適なアルゴリズムとして導入され、経験的評価において既存のベンチマークを顕著に上回る性能を示した。
• 不確実性複雑性の新しい概念が、直接的にレギュレート分析に関連づけられ、ポリシー評価のための理論的基盤を提供した。
• 経験的結果から、SGは低不確実性フィルタリングとグリーディ選択を組み合わせることで、グリーディ手法およびOFULベースの手法を顕著に上回ることが示された。