[論文レビュー] Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles

Dylan J. Foster, Alexander Rakhlin|arXiv (Cornell University)|Feb 12, 2020

Advanced Bandit Algorithms Research参考文献 63被引用数 36

ひとこと要約

この論文は SquareCB を導入し、文脈バンディットからオンライン回帰への普遍的還元を提示し、 realizability 以外の分布仮定なしでミニマックス最適な後悔率を達成し、回帰オラクルと同等のメモリ/実行時間を実現する。

ABSTRACT

A fundamental challenge in contextual bandits is to develop flexible, general-purpose algorithms with computational requirements no worse than classical supervised learning tasks such as classification and regression. Algorithms based on regression have shown promising empirical success, but theoretical guarantees have remained elusive except in special cases. We provide the first universal and optimal reduction from contextual bandits to online regression. We show how to transform any oracle for online regression with a given value function class into an algorithm for contextual bandits with the induced policy class, with no overhead in runtime or memory requirements. We characterize the minimax rates for contextual bandits with general, potentially nonparametric function classes, and show that our algorithm is minimax optimal whenever the oracle obtains the optimal rate for regression. Compared to previous results, our algorithm requires no distributional assumptions beyond realizability, and works even when contexts are chosen adversarially.

研究の動機と目的

• 柔軟で汎用的な文脈バンディットアルゴリズムを実用的な実行時間とメモリで必要性を動機づける。
• 文脈バンディットを回帰へ還元するオンライン回帰オラクルフレームワークを導入する。
• 任意の回帰オラクルを最適後悔率を持つ文脈バンディットアルゴリズムへ変換する SquareCB を提案する。
• RichCB 設定のミニマックスレートを特徴関数クラス間で特徴づけし、SquareCB の普遍性を示す。

提案手法

• 平方損失と対応する後悔保証を持つオンライン回帰オラクル（SqAlg）を定義する。
• action-Specific なスコア予測と逆ギャップ確率重み付けを用いて行動を選択する還元法 SquareCB を開発する。
• realizability の下で高確率に Reg_CB(T) ≤ C * sqrt(K T * Reg_Sq(T)) を達成することを証明する。
• SquareCB がオラクルのメモリと実行時間を継承し、行動数 K にスケールすることを示す。
• さまざまな関数クラス（線形、高次元、カーネル、GLM）に対して SquareCB を具体化し、エンドツーエンドの保証を得る。
• 適切な SqAlg の選択を通じて下限と一致させることで SquareCB が universality を満たすことを示すミニマックス最適性の主張を提供する。

実験結果

リサーチクエスチョン

• RQ1 realizability の下で Rich（潜在的に非參数的）仮説クラスを持つ文脈バンディットのミニマックス後悔はどれくらいか？
• RQ2 回帰オラクルベースの還元が、最適率を持つ効率的でオラクル対応の文脈バンディットアルゴリズムを生み出せるか？
• RQ3 線形・高次元・カーネル・GLM などの異なる関数クラスにおける後悔とメモリ/実行時間の観点で SquareCB はどう機能するか？
• RQ4 realizability が破られた場合や近似的な場合の SquareCB のロバスト性は？
• RQ5 本還元を無限の行動空間へ拡張して後悔保証を保持できるか？

主な発見

• SquareCB は任意のオンライン回帰オラクルを文脈バンディットアルゴリズムへ変換し、後悔のスケーリングを sqrt(K T * Reg_Sq(T)) とする。
• SquareCB はオラクルの1回あたりのメモリと実行時間を、行動数 K でスケールさせて継承する。
• 有限の関数クラスの場合、Reg_Sq(T) = O(log|F|) を満たす SqAlg を選択すると Reg_CB(T) = O(sqrt(K T log|F|)) となる。
• 関数クラス間の具体化（線形・高次元/バナフ空間・カーネル・GLM）により、T と K のさまざまなトレードオフを伴うエンドツーエンドの保証を提供する。
• このフレームワークはミニマックス最適であり、SquareCB は RichCB のミニマックスレートを達成するように具体化でき、下界も提供されている。
• このアプローチは realizability の下で機能し、強い分布仮定や独立同分布文脈を必要とせず、仕様誤差に対しても頑健である。