[論文レビュー] Provably Optimal Algorithms for Generalized Linear Contextual Bandits

Lihong Li, Yun Gang Lu+1 more|arXiv (Cornell University)|Feb 28, 2017

Advanced Bandit Algorithms Research被引用数 141

ひとこと要約

本論文は、一般化線形報酬を持つ文脈バンディットに対するGLMベースのUCBアルゴリズムを提案し、ほぼ最適な後悔を達成するとともに、鋭い有限サンプルMLE信頼区間を提供する。

ABSTRACT

Contextual bandits are widely used in Internet services from news recommendation to advertising, and to Web search. Generalized linear models (logistical regression in particular) have demonstrated stronger performance than linear models in many applications where rewards are binary. However, most theoretical analyses on contextual bandits so far are on linear bandits. In this work, we propose an upper confidence bound based algorithm for generalized linear contextual bandits, which achieves an $ ilde{O}(\sqrt{dT})$ regret over $T$ rounds with $d$ dimensional feature vectors. This regret matches the minimax lower bound, up to logarithmic terms, and improves on the best previous result by a $\sqrt{d}$ factor, assuming the number of arms is fixed. A key component in our analysis is to establish a new, sharp finite-sample confidence bound for maximum-likelihood estimates in generalized linear models, which may be of independent interest. We also analyze a simpler upper confidence bound algorithm, which is useful in practice, and prove it to have optimal regret for certain cases.

研究の動機と目的

• 線形モデルを超える一般化線形報酬を持つ文脈バンディットを動機づける。
• GLM文脈で強い後悔保証を備えた証明可能なアルゴリズムを開発する。
• GLM最大尤度推定値の新しい有限サンプル信頼区間を提供する。
• 実用的に役立つUCBベースのアルゴリズムと最適性に焦点を当てた派生版を提供する。

提案手法

• GLM文脈バンディットのための上界信頼区間アルゴリズムSupCB-GLMを提案し、後悔は ~O(sqrt(d T)) を達成する。
• GLM MLEに対する鋭い有限サンプル・方向別信頼区間を導出する（非漸近正規性型の結果）。
• 合理的な条件下で最適な後悔を持つより単純なUCB-GLMアルゴリズムを分析する。
• 独立サンプルを作成する一例としてSupCB-GLMを導入し、より厳密な解析を可能にする（Auer 2002に触発）。
• 自己正規化マルチンゲールと新規信頼区間を活用して後悔を上界化する証明を提供する。
• 射影ステップなしでより効率的な変種を含む、計算上および実用的な考慮事項を論じる。

実験結果

リサーチクエスチョン

• RQ1 固定アーム領域で対数因子を除けばミニマックス後悔にほぼ一致する、一般化線形文脈バンディットのUCBアルゴリズムを設計できるか？
• RQ2 厳密な後悔解析を支えるGLM最大尤度推定値の有限サンプル・方向別信頼区間をどのように確立できるか？
• RQ3 高次元設定において、GLMベースのUCBアルゴリズムは既存のGLMバンディット手法と後悔の観点でどう比較されるか？
• RQ4 射影ステップのような重い計算を伴わず、実用的でより単純なUCB派生版がほぼ最適な後悔を達成できるか？
• RQ5 独立サンプルベースの手法（SupCB-GLM）を構築し、小さな行動集合に対してほぼ最適な後悔を達成することは可能か？

主な発見

• GLM UCBアルゴリズム SupCB-GLM は、対数因子を除けば後悔 ~O(d sqrt(T)) を達成し、無限アクションのミニマックス下界に一致（従来のGLM結果を改善）する。
• GLM MLEに対して、すべての方向で成立する鋭い有限サンプル信頼区間が証明され、方向特異的な後悔解析を可能にする。
• 合理的な仮定の下で単純なUCB-GLMアルゴリズムが最適な後悔を達成することが示され、射影ベースの手法より実用的である。
• SupCB-GLM は有限アクション集合に対してほぼ最適な後悔 ~O(sqrt(d T log K)) を達成し、全体の境界は対数まで厳密性を示す。
• 解析はGLMバンディットにおける従来の楕円（l2）境界よりも方向別信頼区間の利点を際立たせる。